Детальная информация

Настоящее исследование посвящено разработке и оценке эффективности системы автоматического выявления языка вражды в цифровой среде. Актуальность работы обусловлена необходимостью создания инструментов автоматизированной модерации контента для поддержания этических норм общения в социальных сетях. Задачи исследования: 1) изучить теоретические подходы к определению и классификации языка вражды; 2) рассмотреть существующие методы автоматической обработки текстов и алгоритмы машинного обучения для задач текстовой классификации; 3) сформировать и разметить корпус текстовых данных на основе комментариев из социальных сетей; 4) реализовать модель автоматического распознавания деструктивного контента на базе архитектуры Transformer (модель RuBERT); 5) провести сравнительный анализ эффективности разработанной модели с базовыми алгоритмами машинного обучения. В ходе практической реализации проведено сравнение классических алгоритмов и архитектуры Transformer. Тестирование показало, что RuBERT достигает более высоких показателей качества за счет учета контекстуальных связей в текстах. Результаты работы могут быть интегрированы в системы автоматизированного мониторинга русскоязычного сегмента интернета.

The research is devoted to the development and evaluation of a system for automatic detection of hate speech in the digital environment. The relevance of the work is due to the need to create automated content moderation tools to maintain ethical standards of communication in social networks. The objectives of the research are: 1) to examine theoretical approaches to the definition and classification of hate speech; 2) to review existing natural language processing (NLP) methods and machine learning algorithms for text classification tasks; 3) 4) to form and annotate a text corpus based on comments from social networks; to implement a model for automatic recognition of destructive content based on the Transformer architecture (RuBERT model); 5) to conduct a comparative analysis of the effectiveness of the developed model with baseline machine learning algorithms. During practical implementation, classical algorithms and the Transformer architecture were compared. Experiments showed that RuBERT achieves higher quality metrics due to its ability to capture contextual relationships in texts. The results of the work can be integrated into automated monitoring systems for the Russian-language segment of the Internet.