|
Аннотация.
В работе исследуется метод приближенного энтропийного оценивания, предназначенный для ускорения классического метода наибольшей энтропии благодаря применению регуляризации в задаче оптимизации. Данный метод сравнивается с методом наибольшего правдоподобия и байесовским оцениванием как экспериментально, так и с точки зрения теоретических выкладок для некоторых частных случаев. Тестирование методов оценивания проводится на примере задачи линейной регрессии с различными типами ошибок, в том числе с несимметричными распределениями, а также с мультимодальным распределением в виде смеси гауссовских компонент.
Ключевые слова:
вероятностная математическая модель, метод наибольшей энтропии, линейная регрессия, регуляризация, распределение ошибок.
Стр. 71-81.
DOI 10.14357/20718632230107 Литература
1. Huang, David S. Regression and Econometric Methods. New York: John Wiley & Sons. 1970. pp. 127–147. 2. Hazewinkel, Michiel, ed. "Bayesian approach to statistical problems", Encyclopedia of Mathematics, Springer. 2001. 3. Amos Golan, George G. Judge, Douglas Miller. Maximum Entropy Econometrics: Robust Estimation with Limited Data. – John Wiley and Sons Ltd. Chichester, U.K., 1996. 4. Кристофер Доугерти. Введение в эконометрику. — 2-е, пер. с англ. — М.: ИНФРА-М, 2004. — 419 с. 5. Ximing Wu. A Weighted Generalized Maximum Entropy Estimator with a Data-driven Weight // Entropy, 2009. no.11. 6. Theil, Henri (1971). "Best Linear Unbiased Estimation and Prediction". Principles of Econometrics. New York: John Wiley & Sons. pp. 119–124. ISBN 0-471-85845-5. 7. Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. 8. Efron, B.; Tibshirani, R. (1993). An Introduction to the Bootstrap. Boca Raton, FL: Chapman & Hall/CRC. 9. Popkov, Y.S.; Dubnov, Y.A.; Popkov, A.Y. New Method of Randomized Forecasting Using Entropy-RobustEstimation: Application to the World Population Prediction. // Mathematics, 2016, Vol. 4, Iss.1, p.1-16. 10. Andrew Gelman. Bayes, Jeffreys, Prior Distributions and the Philosophy of Statistics // Statistical Science, vol.24, No.2, pp.176-178, 2009. 11. Zellner A. Past and Recent Results on Maximal DataInformation Priors // Texhnical Report, Graduate School of Business, University of Chicago, 1996. 12. Fink, Daniel (1997). "A Compendium of Conjugate Priors" 13. R.D. Levin, M. Tribus. The maximum entropy formalism. MIT Press, 1979 14. Yu. S. Popkov , Yu. A. Dubnov. Entropy-robust randomized forecasting under small sets of retrospective data // Automation and Remote Control. 2016, Volume 77, Issue 5, pp 839-854. 15. Yu. S. Popkov. Soft Randomized Machine Learning // Doklady Mathematics, 2018, Vol. 98, No. 3, pp. 646–647. 16. Fishman, George S. Monte Carlo : concepts, algorithms, and applications. — Springer, 1996. 17. Rousseeuw, P. J., A. M. Leroy. Robust Regression and Outlier Detection. Wiley, 2003.
|
