Details

Объектом исследования являются процессы автоматизированной генерации и проверки тестовых заданий по неструктурированной пользовательской документации. Цель работы — разработать и экспериментально обосновать эффективность программной системы автоматизированной генерации и проверки тестовых заданий по корпоративным материалам на основе технологии генерации, дополненной поиском, и интеллектуального агента, работающего на локальном компьютере без передачи данных в сторонние сервисы. В процессе работы выполнен анализ предметной области и существующих решений; спроектирована архитектура прототипа «НТИметр» и алгоритм работы интеллектуального агента; реализован веб-прототип; проведена экспериментальная оценка качества генерации на корпусе из 85 научно-технических документов; выполнено сравнение двух моделей векторных представлений. Полученные результаты: реализованный прототип обеспечивает полный сценарий «загрузка документов — генерация теста — проверка методистом — выполнение теста — анализ результатов»; на серии из 500 тестовых заданий доля формально корректных вопросов составила 93 %, среднее время генерации десяти вопросов — 2 мин 45 с. Область применения: образовательные и корпоративные организации, проводящие периодическую аттестацию персонала и контроль усвоения нормативно-методических материалов.

The object of research is the process of automated generation and verification of test items based on unstructured user documentation. The aim of the work is the design and experimental substantiation of the effectiveness of a software system for automated generation and verification of test items from corporate materials, based on the retrieval-augmented generation approach and an intelligent agent running locally without sending data to external services. In the course of the work, an analysis of the subject area and existing solutions was carried out; the architecture of the "NTImeter" prototype and the algorithm of the intelligent agent were designed; a web prototype was implemented; an experimental evaluation of generation quality was performed on a corpus of 85 scientific and technical documents; two vector representation models were compared. Results obtained: the implemented prototype provides the complete scenario "document upload — test generation — review by a methodologist — test taking — results analysis"; on a series of 500 test items the share of formally correct questions was 93 %, the average generation time for ten questions was 2 min 45 s. Field of application: educational and corporate organizations that carry out periodic personnel assessment and monitor the assimilation of normative and methodological materials.