ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ И ТЕХНОЛОГИИ
А. Д. Якушев, А. М. Кашевник "Метод классификации эмоций на основе легковесной нейронной сети с механизмами внимания"
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ
ВЫЧИСЛИТЕЛЬНЫЕ СИСТЕМЫ И СЕТИ
УПРАВЛЕНИЕ И ПРИНЯТИЕ РЕШЕНИЙ
А. Д. Якушев, А. М. Кашевник "Метод классификации эмоций на основе легковесной нейронной сети с механизмами внимания"
Аннотация. 

Классификация эмоционального состояния важна для человеко-машинного взаимодействия, но ее точность страдает от вариативности данных и дисбаланса классов. Предложен метод создания легковесной нейронной сети для классификации восьми эмоций, достигающей высокой точности и сбалансированного показателя качества. Метод использует объединенный набор данных, включающий более ста двадцати семи тысяч образцов из различных известных коллекций изображений, с улучшенным распределением классов, а также оптимизированную нейросетевую архитектуру. Обучение включало аугментацию данных, ранний останов и оптимизацию гиперпараметров. Модель достигла точности 80.6% и макроусредненного показателя качества 0.806 на тестовой выборке, со значениями по классам от 0.683 ("Грусть") до 0.907 ("Презрение"). Разработанная легковесная модель с низкими вычислительными требованиями подходит для интеграции в системы человеко-машинного взаимодействия, здравоохранения, психологии и для устройств с ограниченными ресурсами, обеспечивая надежное распознавание эмоций.

Ключевые слова: 

распознавание эмоций, классификация эмоций, легковесная нейронная сеть, EfficientNet-B3, глубокое обучение, трансферное обучение, компьютерное зрение, аффективные вычисления.

DOI 10.14357/20718632260106

EDN OALXVH

Стр. 66-79.

Литература

1. Lv Y., Feng Z. Facial Expression Recognition via Deep Learning // International Conference on Multimedia and Expo (ICME). 2014.
2. Wen Z., Lin W., Wang T., Xu G. Distract Your Attention: Multi-head Cross Attention Network for Facial Expression Recognition // MDPI Electronics. 2021. Vol. 8. No 2. P. 199. 
3. Hu J., Shen L., Sun G. Squeeze-and-Excitation Networks // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2018. P. 7132–7141.
4. Wang K., Peng X., Yang J., Meng D., Qiao Y. Region Attention Networks for Pose and Occlusion Robust Facial Expression Recognition // arXiv preprint arXiv:1905.04075. 2019. URL: https://arxiv.org/abs/1905.04075 (дата обращения: 05.02.2026). 
5. Zhang Z., Gu J. Facial Affect Recognition in the Wild Using Multi-Task Learning Convolutional Network // arXiv preprint arXiv:2002.00606. 2020. URL: https://arxiv.org/abs/2002.00606 (дата обращения: 05.02.2026).
6. Wang K., Peng X., Yang J., Meng D., Qiao Y. Suppressing Uncertainties for Large-Scale Facial Expression Recognition // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2020. 
7. Farzaneh A. H., Qi X. Facial Expression Recognition in the Wild via Deep Attentive Center Loss // Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). 2021. 
8. Antoniadis P., Kollias D., Zafeiriou S. Exploiting Emotional Dependencies with Graph Convolutional Networks for Facial Expression Recognition // IEEE International Conference on Automatic Face and Gesture Recognition (FG). 2021.
9. Xue M., Wang Y., Li Y., Wang S., Li Z., Wang Y. TransFER: Learning Relation-Aware Facial Expression Representations with Transformers // Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). 2021.
10. Wang Y., Li S., Wang Y., Li Z., Wang Y. Adaptive Patch Selection to Improve Vision Transformers through Patch Attention // Applied Intelligence. 2022. 
11. Li Y., Wang Y., Li Z., Wang Y. An Attentional Residual Feature Fusion Mechanism for Sheep Face Recognition // Scientific Reports. 2022. Vol. 12. P. 43580.
12. She J., Hu Y., Shi H., Wang J., Shen Q., Mei T. Dive into Ambiguity: Latent Distribution Mining and Pairwise Uncertainty Estimation for Facial Expression Recognition // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021. 
13. Zhang Y., Wang C., Ling X., Deng W. Learn From All: Erasing Attention Consistency for Noisy Label Facial Expression Recognition // European Conference on Computer Vision (ECCV). 2022. 
14. Zeng D., Yan X., Wang F., Tang B., Liu L. Face2Exp: Combating Data Biases for Facial Expression Recognition // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2022. 
15. Ruan D., Yan Y., Lai S., Chai Z., Shen C., Wang H. Feature Decomposition and Reconstruction Learning for Effective Facial Expression Recognition // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021.
16. Li Y., Wang Y., Li Z., Wang Y. Knowledge Transfer Network for Facial Expression Recognition // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2022 
17. Zhao X., Wang Y., Li Z., Wang Y. Learning Deep Global Multi-Scale and Local Attention Features for Facial Expression Recognition in the Wild // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021.
18. Li Y., Wang Y., Li Z., Wang Y. MVT: Mask Vision Transformer for Facial Expression Recognition in the Wild // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021. 
19. Wang Y., Li S., Wang Y., Li Z., Wang Y. PSR: Progressive Self-Refinement for Facial Expression Recognition // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2022.
20. Zhang Y., Wang C., Ling X., Deng W. Relative Uncertainty Learning for Facial Expression Recognition // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021.
21. Li Y., Wang Y., Li Z., Wang Y. TAN: Transformer-based Attention Network for Facial Expression Recognition // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2022.
22. Ma X., Zhang Y., Wang Y. Facial Expression Recognition with Visual Transformers and Attentional Selective Fusion // arXiv preprint arXiv:2103.16854. 2022. URL: https://arxiv.org/abs/2103.16854 (дата обращения: 05.02.2026).
23. Liu Y., Zhang H., Wang Z. A Dual-Direction Attention Mixed Feature Network for Facial Expression Recognition // Electronics. 2023. Vol. 12. No 17. P. 3595. 
24. Kim S., Lee J., Park H. Progressive Label Distillation for Facial Expression Recognition // Pattern Recognition. 2023. Vol. 142. P. 109579.
25. Wang J., Li Q., Zhao Y. POSTER: Pose-aware SpatialTemporal Network for Facial Expression Recognition // Computer Vision and Image Understanding. 2023. Vol. 223. P. 103525.
26. Wang J., Li Q., Zhao Y. POSTER++: Enhanced Pose-aware Spatial-Temporal Network for Facial Expression Recognition // Pattern Recognition. 2023. Vol. 142. P. 109580. 
27. Tan M., Le Q. V. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks // Proceedings of the 36th International Conference on Machine Learning. 2019. Vol. 97. P. 6105–6114.

2026 / 01
2025 / 04
2025 / 03
2025 / 02

© ФИЦ ИУ РАН 2008-2018. Создание сайта "РосИнтернет технологии".