Details

Целью работы является создание алгоритма на основе большой языковой модели, позволяющего автоматически оценивать качество работы специалистов клиентской службы путем анализа их текстовых коммуникаций с клиентами. В ходе работы были проанализированы существующие подходы к оценке специалистов клиентской службы и методы автоматического анализа текстов на естественном языке, рассмотрены подходы к адаптации большой языковой модели под конкретную задачу, проведено сравнение существующих больших языковых моделей, использующихся для решения задачи анализа русскоязычных текстов, и выполнено дообучение выбранной базовой модели. Результатом работы является алгоритм автоматической оценки качества работы специалистов клиентской службы, основанный на дообученной большой языковой модели, и прототип системы контроля качества, созданный на его основе. Разработанный алгоритм позволяет стандартизировать оценку специалистов и эффективнее использовать ресурсы компании за счет минимизации ручного труда.

The goal of this work is to develop an algorithm based on a large language model to automatically evaluate the performance quality of customer service specialists by analyzing their text-based communications with customers. During the work, existing approaches to evaluating customer service specialists and methods for the automatic analysis of natural language texts were analyzed, approaches to adapting a large language model for the specific task were considered, a comparison of existing large language models used for analyzing Russian-language texts was conducted; and fine-tuning of the selected base model was performed. The result of the work is an algorithm for the automatic evaluation of customer service specialist performance quality, based on a fine-tuned large language model, and a prototype of a quality control system built upon it. The developed algorithm enables the standardization of specialist evaluations and more efficient use of company resources by minimizing manual labor.