Details

В данной выпускной квалификационной работе рассмотрен подход к разработке программного продукта для бинарной классификации новостных текстов на русском языке. Классификация разделяет публикации на написанные человеком и сгенерированные большими языковыми моделями (Large Language Models, LLM). Рассмотрены основные аспекты области обработки естественного языка (Natural Language Processing, NLP) и особенности LLM. Выявлены ключевые сложности задачи классификации сгенерированных текстов. Проведен сравнительный анализ четырех классов методов классификации. Обоснован выбор подхода на основе градиентного бустинга решающих деревьев. Сформулированы функциональные и нефункциональные требования к программному продукту. Сформирован обучающий набор данных. Разработан алгоритм извлечения 32-мерного вектора стилометрических, лексических и морфологических признаков. Обучена и оптимизирована модель LightGBM с подбором оптимального порога принятия решения. Реализовано клиент-серверное веб-приложение. Протестировано общее качество классификации обученной модели. Исследована латентность вычислений на текстах различной длины. Проведено модульное и системное тестирование разработанного программного продукта.

This thesis examines an approach to developing a software product for the binary classification of Russian-language news texts. The classification divides publications into those written by humans and those generated by large language models (Large Language Models, LLM). Key aspects of Natural Language Processing (NLP) and the specifics of LLM are discussed. Key challenges in classifying generated texts are identified. A comparative analysis of four classes of classification methods is conducted. The choice of an approach based on gradient boosting of decision trees is justified. Functional and non-functional requirements for the software product were formulated. A training dataset was created. An algorithm for extracting a 32-dimensional vector of stylometric, lexical, and morphological features was developed. The LightGBM model was trained and optimized, selecting an optimal decision threshold. A client-server web application was implemented. The overall classification performance of the trained model was tested. Computational latency was studied on texts of varying lengths. Unit and system testing of the developed software product was conducted.