Số 224 | Tháng 11/2024
Sử dụng các phương pháp dự đoán để đánh giá quan sát và đo lường tầm quan trọng
William M. Briggs
Tóm tắt:
Mục đích - Nghiên cứu này nhằm mục đích tìm kiếm các giải pháp thay thế phù hợp cho việc kiểm định giả thuyết và các biện pháp có tầm quan trọng thay đổi.
Thiết kế/phương pháp/cách tiếp cận - Nghiên cứu này khám phá các phương pháp dự đoán chưa được sử dụng.
Kết quả - Việc kiểm định giả thuyết của nghiên cứu có thể và nên được thay thế bằng các phương pháp dự đoán. Đó là cách duy nhất để biết liệu các mô hình có giá trị gì hay không.
Tính nguyên bản/giá trị - Đây là lần đầu tiên các phương pháp dự đoán được sử dụng để chứng minh thước đo và tầm quan trọng của biến. Việc kiểm định giả thuyết không bao giờ có thể chứng minh tính tốt của các mô hình. Chỉ có phương pháp dự đoán mới có thể.
Tài liệu tham khảo:
- Berger, J.O. and Selke, T. (1987), "Testing a point null hypothesis: the irreconcilability of p-values and evidence", JASA, Vol. 33 No. 397, pp. 112-122, doi: 10.2307/2289131.
- Briggs, W.M. (2016), Uncertainty: the Soul of Probability, Modeling & Statistics, Springer, New York.
- Briggs, W.M. (2019), "Everything wrong with -values under one roof", in Kreinovich, V., Thach, N.N., Trung, N.D. and Thanh, D.V. (Eds), Beyond Traditional Probabilistic Methods in Economics, Springer, New York, pp. 22-44.
- Colquhoun, D. (2014), "An investigation of the false discovery rate and the misinterpretation of p-values", Royal Society Open Science, Vol. 1 No. 3, pp. 1-16, doi: 10.1098/rsos.140216.
- Geisser, S. (1993), Predictive Inference: an Introduction, Chapman & Hall, New York.
- Geisser, S. and Eddy, W.F. (1979), "A predictive approach to model selection", Journal of the American Statistical Association, Vol. 74 No. 365, pp. 153-160, doi: 10.1080/01621459.1979.10481632.
- Goodman, S.N. (2001), "Of -values and Bayes: a modest proposal", Epidemiology, Vol. 12 No. 3, pp. 295-297, doi: 10.1097/00001648-200105000-00006.
- Greenland, S., Senn, S.J., Rothman, K.J., Carlin, J.B., Poole, C., Goodman, S.N. and Altman, D.G. (2016), "Statistical tests, -values, confidence intervals, and power: a guide to misinterpretations", European Journal of Epidemiology, Vol. 31 No. 4, pp. 337-350, doi: 10.1007/s10654-016-0149-3.
- Harrell, F. (2017), "A litany of problems with -values", available at: https://www.fharrell.com/post/pval-litany/
- Lu, M. and Ishwaran, H. (2017), "A machine learning alternative to -values", arXiv preprint arXiv: 1701.04944.
- Meyer, M.C. and Laud, P.W. (2002), "Predictive variable selection in generalized linear models", Journal of the American Statistical Association, Vol. 97 No. 459, pp. 859-871, doi: 10.1198/016214502388618654.
- Nguyen, H.T. (2016), "On evidence measures of support for reasoning with integrated uncertainty: a lesson from the ban of p-values in statistical inference", in Integrated Uncertainty in Knowledge Modelling and Decision Making, Springer, pp. 3-15.
- Romano, Y., Patterson, E. and Candes, E. (2019), "Conformalized quantile regression", in Wallach, H., Larochelle, H., Beygelzimer, A., d’ Alché-Buc, F., Fox, E. and Garnett, R. (Eds), Advances in Neural Information Processing Systems, Curran Associates, Vol. 32.
- Trafimow, D., Amrhein, V., Areshenkoff, C.N., Barrera-Causil, C.J., Beh, E.J., Bilgiç, Y.K., Bono, R., Bradley, M.T., Briggs, W.M., Cepeda-Freyre, H.A. and Chaigneau, S.E. (2018), "Manipulating the alpha level cannot cure significance testing", Frontiers in Psychology, Vol. 9, 699, pp. 1-7, doi: 10. 3389/fpsyg.2018.00699.
- UCLA (n.d.), "UCLA advanced research computing: statistical methods and data analytics", available at: https://stats.idre.ucla.edu/stat/data/binary.csv (accessed 10 May 2024).
- Wasserstein, R.L. and Lazar, N.A. (2016), "The ASA's statement on -values: context, process, and purpose", American Statistician, Vol. 70, pp. 129-132.
- William, M.B. and Hung, T.N. (2019), "Clarifying ASA's views on p-values in hypothesis testing", , Vol. 3, pp. 1-16.
Using predictive methods to assess observation and measure importance
Abstract:
Purpose
This study aims to find suitable replacements for hypothesis testing and variable-importance measures.
Design/methodology/approach
This study explores under-used predictive methods.
Findings
The study's hypothesis testing can and should be replaced by predictive methods. It is the only way to know if models have any value.
Originality/value
This is the first time predictive methods have been used to demonstrate measure and variable importance. Hypothesis testing can never prove the goodness of models. Only predictive methods can.