|
Аннотация.
Рассматривается метод энтропийной редукции, основанный на использовании рандомизированных (0,1)-матриц-проекторов. Введено понятие индикатора компактности матрицы данных. Сформулирован алгоритм энтропийной редукции в виде задачи условной максимизации энтропийного функционала, заданного на функциях плотности распределения вероятностей матриц-проекторов. Получены условия существования и единственности ее положительного решения.
Ключевые слова:
случайное проектирование, сжатие и растяжение матрицы данных, (0,1)-матрицы-проекторы, индикатор компактности.
DOI 10.14357/20718632260108
EDN EHHOWR
Стр. 92-99.
Литература
1. Carreira-Perpinan M.A. A review of dimension reduction techniques. Tachnical report CS-96-09, Depatment of Computer Science, University of Sheffield, 1997. 2. Imola K. A survey of dimension reduction techniques. Center for Applied Scientific Computing, Lawrence Livermore National Laboratory, 2002. 3. Cunningham P. Dimension Reduction. Technical Report UCD-CSI-2007-7, University College Dublin, 2007. 4. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. М., Финансы и статистика, 1989. 5. Friedman J., Hastie T., Tibshirani R. Element of Statistical Learning: Prediction, Inference and Data Mining. Springer, 2001. 6. Bishop C. Pattern Recognition and Machine Learning, ser. Information Science and Statistics, Springer, 2006. 7. Comon P., Jutten C. Handbook of Blind Source Separation. Independent Component Analysis and Applications. Academic Press, Oxford UK, 2010. 8. Bruckstein A.M., Donoho D.L., Elad M. From Sparse Solutions of Systems of Equations to Sparse Modeling of Signals and Images. SIAM Rev. 2009, v.51, No.1, p.34-81. 9. Pirson K. On lines and planes of closest fit to systems of points in space. Philosophical Magazine, 1901, v.2, p. 559-572. 10. Кендал М.Дж., Стюарт А. Статистические выводы и связи./ Пер. с англ. М.. Наука, 1973. 11. Jolliffe I.T. Principal Component Analysis. N.Y. SpringerVerlag, 2002. 12. Поляк Б.Т., Хлебников М.В. Метод главных компонент: робастные версии. Автоматика и Телемеханика, 2017, №3, с.130-148. 13. Deerwester S.C., Dumias S.T., Landaurer T.K., Furnas G.W., Harshman R.A. Indexing by latent semantic analysis. Joutnal of American Society of Information Sciences, 1990, v.41(6), p.391-407. 14. Fisher R.A. The Use of Multiple Measurements in Taxonomic Problems. Annals of Eugenics. 1936, v.7, p.179-188. 15. McLachlan G.J. Discriminant Analysis and Statistical Pattern Recognition. Wiley Interscience, 2004. 16. Johnson W.B., Lindenstrauss J. Extension Of Lipshitz mapping into Hilbert space. In Conference in modern analysis and probability. American Mathematical Society, 1984, v.26, p.189-206. 17. Achlioptas D. Database-friendly random projections. Proceedings of the twentieth ACM Symposium on Principles of database systems, p.274-281. 18. Bingham E., Mannila H. Random projection in dimensionality reduction: applications to image and text data. Proceedings of the seventh ACM SIGKDD international conference on Knowledge discovery and data mining, p. 245–250. 19. Vempala S.S. The random projection method. AMS, 2005, v.65. 20. Ганин И.П., Косиченко Е.А., Каплан А.Я. Особенности ЭЭГ-реакций на эмоционально значимые стимулы в тезнологии интерфейса мозг-компьютер на волне Р300. Журнал высшей нервной деятельности им. И.П.Пирогова, 2017, т.67, №4, с.453-463. 21. Huber F., Zorner T.O. Threshold cointegrationin international exchange rates: A Bayesian approach. International Journal of Forecasting, 2019, v.35, p.458-473. 22. Kosinskia M., Stillwella D., Groepelb T. Private traits and attributtes are predictable from digital records of human behaviour. Proceedings of the National Agademy of Sciences of the USA, 2013, v.110(15), p 5802-5805. 23. Blum A.,Langly P. Selection of relevant feature and examples in mashine learning. Artificial Intelligence, 1997, v.97(1-2), p.245-271. 24. Cover T.M., Thomas J.A. Elements of Information Theory. NY, John Wiley and Sons, 1991. 25. Peng H.C., Long F., Ding C. Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redudancy. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2005, v.27(8), p. 1226-1238. 26. Zhang Y., Li S., Wang T., Zhang Z. Divergence-based feature selection for separate classes. Neurocomputing, 2013, v.101, p.32-42. 27. Дарховский Б.С., Каплан А.Я., Шишкин С.Л. О подходе к оценке сложности кривых (на примере электроэнцефалограммы человека). Автоматика и Телемеханика, 2002, № 3, с. 134-140. 28. Дарховский Б.С., Пирятинская А. Новый подход к проблеме сегментации временных рядов произвольной структуры. Труды МИАН им. В.А.Стеклова, 2014, т.287, с.61-74. 29. Darhovsky B., Piryatinska A. Quickest detection of changes in the generating mechanism of a time series via the ε-complexity of continuous functions. Sequantial Analysis, 2014, v.33, p. 231-250. 30. Efron B. Bootstrap Methods: Another Look at the Jackknife. Annals of Statistics, 1979, v.7, No.1, p.1-26. 31. Bach F.R. Bolasso: model consistent Lasso estimation through the bootstrap. Proceedings of the 25-th International Conference on Machine Learning. 2008, p.33-40. 32. Попков Ю.С. Асимптотическая эффективность оценок максимальной энтропии. Доклады Академии наук. Математика, Информатика, Системы управления, 2020, в печати. 33. Popkov Y.S., Popkov A.Y., Dubnov Y.A. Entropy Randomization in Machine Learning. CRC Press, 2023, p.389. 34. Иоффе А.Д., Тихомиров В.М. Теория экстремальных задач. М., Наука, 1974. 35. Darkhovsky, B.S., Popkov, Y.S., Popkov, A.Y., Aliev, A.S. A Method of Generating Random Vectors with a Given Probability Density Function, 2018, Automation and Remote Control 79(9), pp. 1569-1581. 36. Магнус Я.Р., Нейдеккер Х. Матричное дифференциальное исчисление с приложением к статистике и эконометрике. М., Фихматлит, 2002, 495с.
|
