Учёные лаборатории искусственного интеллекта Сбербанка разработали инновационный метод распознавания эмоций в реальных условиях, который повышает точность эмоционального анализа путем сочетания визуальных, акустических и текстовых данных. Результаты их работы были представлены на международном воркшопе Affective Behaviour Analysis in-the-Wild (ABAW) в рамках конференции CVPR.
Системы распознавания эмоций часто сталкиваются с трудностями, такими как низкая точность при изменении освещения и ракурсов, а также фонового шума. Дополнительно, современные алгоритмы требуют высоких вычислительных ресурсов, что затрудняет обработку персональной информации на смартфонах. Для обучения моделей также необходимы большие объёмы данных, которые требуют значительных временных затрат на разметку.
Ученые Сбера предложили решение, основанное на трех ключевых аспектах. Во-первых, они используют эффективные нейронные сети, обученные на открытых наборах изображений эмоциональных лиц, для анализа мимики, что позволяет осуществлять распознавание в реальном времени даже на обычных устройствах. Во-вторых, снижая нагрузку на систему и повышая точность, проводилась фильтрация кадров с надежно распознаваемыми эмоциями. В-третьих, комбинирование данных из различных источников осуществлялось с помощью метода «позднего слияния», что позволяло быстрее адаптировать модель к новым задачам.
На международном конкурсе ABAW предложенный подход занял первое место в задачах распознавания выражений лица и амбивалентности, а также третье — в оценке интенсивности эмоций. Точность распознавания увеличилась на 1,5–15% по сравнению с традиционными моделями.
Технологии, основанные на этом исследовании, могут существенно улучшить работу виртуальных ассистентов, образовательных платформ, а также систем мониторинга психического здоровья. Применение этих методов открывает новые горизонты для создания индивидуальных и адаптивных решений в различных сферах.