Details

Работа состоит из нескольких этапов, а именно: обзор предметной области, ознакомление с теоретическим наполнением системы, техническая реализация модели и сбор результатов. В данной работе производится изучение сферы речевого распознавания эмоций, анализ и выявление основных компонентов, которые необходимы для построения современной системы SER. Кроме того, в рамках работы приводится подробное изучение всех деталей и особенностей модели, наряду со схемой функционирования системы как по отдельности, так и целиком. Были написаны функции и методы для извлечения четырех признаков речевого сигнала, а именно: спектрограммы, кохлеаграммы, набора мел-кепстральных коэффициентов и фрактальных размерностей, а также реализована архитектура 3D CNN с модулем внимания. В качестве результатов получены 4 модели, обученные на 3 датасетах (SAVEE, RAVDESS, TESS) по отдельности и на смешанной выборке, которые во многом не уступают в точности актуальным исследованиям, а также приведена сравнительная характеристика, доказывающая значимость использования фрактальных размерностей в сфере глубокого обучения для классификации эмоций.

The work consists of several stages: review of the subject area, familiarization with the theoretical content of the system, technical implementation of the model and summary of the results. In this paper, we study the sphere of speech recognition of emotions, analyze and identify the main components that are necessary to build a modern SER system. In addition, the work provides a detailed study of all the details and features of the model, along with a scheme for the functioning of the system, both individually and as a whole. Functions and methods were written to extract four features of a speech signal, namely: spectrogram, cochleagram, a set of mel-cepstral coefficients (MFCC) and fractal dimensions, and a 3D CNN architecture with an attention module was implemented. As a result, 4 models were obtained, trained on 3 datasets (SAVEE, RAVDESS, TESS) separately and on a mixed sample, which are in many ways not inferior in accuracy to current research, and a comparative characteristic is given that proves the importance of using fractal dimensions in the field of deep learning to classify emotions.