Детальная информация

Работа посвящена разработке системы мультимодального распознавания эмоций на основе видео- и аудиопотоков. В основе лежит модульная архитектура с независимой обработкой визуальной, аудио- и текстовой информации и последующим объединением результатов. Для каждой модальности применяются специализированные нейросетевые модели: ResNet для лица, wav2vec 2.0 и спектрограммы для звука, RoBERTa — для текста.

The presented work is devoted to the development of a system for multimodal emotion recognition based on the analysis of video and audio streams. The system is built using a modular architecture, where each modality is processed independently using specialized models: ResNet for facial expression analysis, wav2vec 2.0 and spectrogram-based CNNs for acoustic analysis, and the RoBERTa transformer model for text-based emotion recognition.