Details

Работа посвящена разработке системы контроля понятийных знаний студентов на основе онтологического представления предметной области. В работе предложен подход к автоматизации формирования базы знаний на основе учебных материалов с использованием предметно-ориентированного языка запросов. Реализованы механизмы извлечения понятийных связей, генерации контрольных заданий и проверки ответов студентов в свободной форме. Для оценки ответов используются методы семантического анализа текста. Проведено экспериментальное исследование разработанной системы, включающее анализ влияния объёма эталонного контекста на качество проверки, сравнение с существующим решением на основе большой языковой модели и оценку способности больших языковых моделей успешно проходить автоматизированную проверку знаний. В результате работы разработана система, обеспечивающая частичную автоматизацию заполнения базы понятийных знаний, генерацию заданий и контроль знаний по материалам учебной дисциплины.

The thesis is devoted to the development of a system for assessing students’ conceptual knowledge based on an ontology-driven representation of a subject domain. The proposed approach provides partial automation of knowledge base construction from educational materials using a domain-specific query language. Mechanisms for extracting conceptual relations, generating assessment questions, and evaluating free-form student answers are implemented. Student answers are assessed using semantic text analysis methods. An experimental evaluation of the developed system was conducted, including an analysis of the influence of reference context size on assessment quality, a comparison with an existing large language model-based solution, and an investigation of the ability of large language models to successfully pass automated knowledge assessment. As a result, a system was developed that enables partial automation of conceptual knowledge base population, automatic generation of assessment questions, and knowledge assessment based on course materials.