Работа посвящена исследованию и разработке алгоритмов автоматической проверки решений задач, относящихся к двум рассмотренным классам: подбор распределений с похожими гистограммами и реализация алгоритма с заданными требованиями. Задачи, которые решались в ходе исследования: 1. Формулировка заданий к лабораторным работам для курса «Машинное обучение». 2. Подготовка инфраструктуры для сбора данных о решениях студентов и сбор этих данных с последующей разметкой. 3. Реализация алгоритмов автоматической проверки классов задач: - Задача о подборе распределений с похожими гистограммами; - Задача о реализации алгоритма с указанными требованиями. 4. Использование методов машинного обучения и собранных данных для выбора параметров разработанных алгоритмов автоматической проверки. 5. Оценка качества полученных алгоритмов автоматической проверки решений задач и их анализ. В результате были собраны необходимые данные и разработаны алгоритмы автоматической проверки решений поставленных задач. Разработанные алгоритмы показали на имеющихся данных достаточно высокое качество для того, чтобы их можно было использовать для проверки решений задач в учебном процессе.

The work is devoted to the research and implementation of task solution automatic checking algorithms related to the two examined classes: selection of distributions with similar histograms and implementation of an algorithm with specified requirements. The research sets the following goals: 1. Formulation the task statements for the practical labs of the course «Machine Learning». 2. Infrastructure development for gathering the task solutions by students including collecting and markupping datasets. 3. Implementation of algorithms for task solutions automatic checking of the following classes: - The task about selection of distributions with similar histograms; - The task about implementation of an algorithm with specified requirements. 4. The usage of machine learning models on the collected datasets in order to choose appropriate hyperparameters of automatic checking algorithms. 5. Quality estimation of implemented automatic checking algorithms. As the result, needed datasets have been collected and task solutions automatic checking algorithms have been implemented. The quality of proposed algorihtms is high enough to use them for checking task solutions in educational process.

• Введение
• Постановка задач и обзор
  • Типы задач, решения которых подлежат автоматической проверке
  • Построение и похожесть гистограмм
    • Гистограмма
    • Похожесть гистограмм
  • Постановка задач
    • Проверка решения задачи о подборе распределений с похожими гистограммами
    • Проверка решения задачи о реализации алгоритма с заданными требованиями
  • Актуальность
    • Сравнение гистограмм
    • Анализ программного кода
  • Анализ существующих решений
    • Существующие решения автоматической проверки решений задач
    • Анализ литературы по проверке решения задачи о подборе распределений с похожими гистограммами
    • Анализ литературы по проверке решения задачи о реализации алгоритма
• Сравнение гистограмм
  • Параметры построения гистограмм
  • Получение тренировочной выборки
  • Используемые признаки
  • Обучение и оценка моделей
  • Алгоритм автоматической проверки
  • Анализ результатов
• Анализ программного кода
  • Недостаточность языковых моделей для полноценной проверки
  • Построение запросов к языковой модели
    • Выбор подходящей языковой модели
    • Задача о преобразовании ограничивающей рамки
    • Задача об улучшении нейросети
    • Задача об обучении регрессионной модели
  • Алгоритм автоматической проверки решений задачи
  • Анализ результатов
• Заключение
• Список использованных источников
• Приложения