Details

Работа посвящена построению программной системы, предназначенной для автоматизации предварительного оценивания письменных ответов студентов на экзаменационные вопросы. Предварительное оценивается выполняется виртуальным ассистентом, реализованным на основе большой языковой модели, с помощью совокупности метрик. Указанные метрики формализуют критерии выставления оценок, используемые экзаменаторами-людьми: правильность, краткость, стиль, полнота, связность ответов. Для каждой метрики определена 10-балльная шкала. Итоговая оценка формируется экзаменатором самостоятельно с учетом вектора предварительных оценок. Взаимодействие участников письменного экзамена (экзаменатора и студентов) автоматизировано с помощью клиент-серверного мобильного приложения, реализованного на языке Kotlin. В дополнение к основной функциональности разработанная программная система поддерживает следующие сервисы: протоколирование хода экзамена, каталогизация экзаменационных сессий, автономная работа при отсутствии постоянной связи с сервером, мандатный доступ авторизованных пользователей к архивным записям экзаменов. Выполнено модульное тестирование всех компонентов целевой системы и ее апробация с помощью методических материалов вузовских учебных курсов.

The work is devoted to the construction of a software system designed to automate the preliminary assessment of students written answers to exam questions. The preliminary assessment is performed by a virtual assistant, implemented on the basis of a large language model, using a set of metrics. These metrics formalize the scoring criteria used by human examiners: correctness, brevity, style, completeness, coherence of answers. For each metric, a 10-point scale is defined. The final grade is formed by the examiner independently, taking into account the vector of preliminary grades. The interaction of participants in the written exam (examiner and students) is automated using a client-server mobile application implemented in the Kotlin language. In addition to the main functionality, the developed software system supports the following services: logging exam progress, cataloging exam sessions, autonomous work in the absence of a permanent connection to the server, mandatory access for authorized users to archived exam records. Unit testing of all components of the target system was carried out and it was tested using methodological materials of university training courses.