Данная работа посвящена разработка системы для тестирования пользователей с последующей оценкой знаний. Задачи, которые решались в ходе работы: 1) Разработка архитектуры системы, включая определение компонентов, модулей и связей между ними. 2) Реализация алгоритмов для обработки аудио и видео данных, включая распознавание речи, анализ тональности, выделение ключевых слов и пр. 3) Создание аудиовизуального интерфейса, который позволяет пользователю взаимодействовать с системой через звук и изображение. 4) Интеграция метрик близости для оценки вопросно-ответных данных 5) Разработка моделей машинного обучения для классификации и анализа аудио и видео данных.

This work is devoted to the development of a system for testing users with subsequent assessment of knowledge. The research set the following goals: 1) Development of the system architecture, including the definition of components, modules and links between them. 2) Implementation of algorithms for processing audio and video data, including speech recognition, tonality analysis, keyword selection, etc. 3) Creating an audiovisual interface that allows the user to interact with the system through sound and image. 4) Integration of proximity metrics for evaluating question-answer data 5) Development of machine learning models for classification and analysis of audio and video data.

• ВВЕДЕНИЕ
• ГЛАВА 1 АНАЛИЗ МЕТОДОВ И МОДЕЛЕЙ
  • 1.1 Text-to-speech
  • 1.2 Speech to text
  • 1.3 Семантический анализ текста
  • 1.4 Модели генерации вопросов
  • 1.5 Модель вопросно-ответной оценки
    • 1.5.1 Коэффициент Жаккара
    • 1.5.2 Коэффициент Сёренсена
    • 1.5.3 Индекс Тверского
    • 1.5.4 Коэффициент перекрытия
    • 1.5.5 Коэффициент Монжа-Элкана
    • 1.5.6 Евклидова близость
    • 1.5.7 Косинусная близость
    • 1.5.8 N-граммовое перекрытие
    • 1.5.9 Оценка нейросети GPT
  • 1.6 Модель визуализации
  • 1.7 API. Технологии построения
• ГЛАВА 2 РАЗРАБОТКА АРХИТЕКТУРЫ СИСТЕМЫ
• ГЛАВА 3 РАЗРАБОТКА МОДЕЛЕЙ КОМПОНЕНТОВ СИСТЕМЫ
• ГЛАВА 4 ИНТЕРФЕЙС
• ГЛАВА 5 ИНТЕГРАЦИЯ И ТЕСТИРОВАНИЕ СИСТЕМЫ
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
• ПРИЛОЖЕНИЕ 1 ЛИСТИНГ КОДА