Details

В данной работе рассматриваются подходы к автоматизации контроля знаний с использованием больших языковых моделей (LLM) и Retrieval-Augmented Generation (RAG). Объектом исследования является процесс контроля знаний обучающихся. Цель работы — разработка модуля для проверки учебных знаний на основе LLM. Методология исследования включает анализ предметной области и существующих решений, проектирование архитектуры, программную реализацию модуля на основе FastAPI, LangChain, YandexGPT, PostgreSQL и Qdrant, а также его тестирование. В результате разработан программный модуль, поддерживающий загрузку учебных материалов и студенческих работ, извлечение релевантного контекста, генерацию вопросов с учетом таксономии Блума и адаптацию сложности последующих заданий. Полученное решение может применяться в цифровых образовательных средах и системах дистанционного обучения для первичной оценки ответов обучающихся и снижения трудозатрат преподавателя на выполнение рутинных проверочных операций. Результаты работы подтверждают, что использование LLM в сочетании с RAG является перспективным направлением автоматизации контроля знаний, позволяющим повысить гибкость и содержательность проверочных процедур. Разработанное решение демонстрирует пригодность данного подхода и создает основу для дальнейшего развития интеллектуальных систем поддержки обучения.

This paper examines approaches to automating knowledge assessment using large language models (LLM) and Retrieval-Augmented Generation (RAG). The object of the study is the process of assessing student knowledge. The goal of the work is to develop a module for assessing academic knowledge based on LLM. The research methodology includes an analysis of the subject area and existing solutions, architecture design, software implementation of the module based on FastAPI, LangChain, YandexGPT, PostgreSQL, and Qdrant, and testing. As a result, a software module was developed that supports the uploading of educational materials and student work, the extraction of relevant context, the generation of questions based on Bloom’s taxonomy, and the adaptation of the difficulty of subsequent tasks. The resulting solution can be applied in digital educational environments and distance learning systems for the initial assessment of student responses and for reducing instructor effort on routine assessment operations. The results of the study confirm that using LLM in combination with RAG is a promising approach to automating knowledge assessment, allowing for increased flexibility and meaningfulness of assessment procedures. The developed solution demonstrates the suitability of this approach and provides a foundation for the further development of intelligent learning support systems.