Details

В работе рассматривается автоматическая оценка тональности пользовательских отзывов к приложениям для изучения иностранных языков. Для исследования был сформирован корпус англоязычных отзывов из Google Play, после очистки и фильтрации подготовлен размеченный датасет отзывов. В работе сравниваются методы анализа тональности на основе правил, классические модели машинного обучения и модель BERT. Эксперименты проводились в трех постановках задачи: пятибалльной, трехклассовой и бинарной классификации. Результаты показали, что наиболее сложной является пятибалльная классификация, поскольку соседние оценки часто выражаются похожими текстами. Лучшие результаты во всех задачах показала модель BERT, а среди классических моделей наиболее устойчивой оказалась логистическая регрессия. Сохранение эмодзи не дало заметного прироста качества. Качественный анализ ошибок показал, что основные трудности связаны со смешанной тональностью, сарказмом, оценочными фактами и несовпадением текста отзыва с пользовательской оценкой.

The paper examines automatic sentiment classification of user reviews of foreign language learning applications. For the study, a corpus of English-language reviews from Google Play was compiled, and after cleaning and filtering, a labeled review dataset was prepared. The paper compares rule-based sentiment analysis methods, classical machine learning models, and BERT. The experiments were conducted in three task settings: five-class, three-class, and binary classification. The results showed that five-class classification is the most difficult task, since neighboring ratings are often expressed through similar texts. BERT achieved the best results in all tasks, while logistic regression proved to be the most stable among the classical models. Preserving emoji did not lead to a noticeable improvement in quality. The qualitative error analysis showed that the main difficulties are associated with mixed sentiment, sarcasm, evaluative facts, and mismatches between the review text and the user rating.