В работе рассматриваются методы обработки видеозаписей, изображений и звука, исследуются способы выявления признаков, виды моделей. В результате была разработана модель, способная классифицировать по кадру из видео, происходит ли на нем разговор. Для демонстрации работы, на основе этой модели, была разработана программа для определения длинны разговора по видеозаписи.

The paper discusses methods of video, audio, imagery and data processing in general, machine learning models and neural network architecture. As a result of the research, the implementation of algorithm based on neural network and capable of detection speech moment by imagery from video only was created. As a prove of concept, program using that algorithm capable of calculating speech time in video was created.

• ВВЕДЕНИЕ
• 1. ПОСТАНОВКА ЗАДАЧИ И ОПРЕДЕЛЕНИЕ ТРЕБОВАНИЙ
  • 1.1. Постановка задачи
  • 1.2. Определение требований к разрабатываемой программе
• 2. Обработка видеозаписей
  • 2.1. Обзор решаемой задачи
• 3. ОПРЕДЕЛЕНИЕ ВХОДНЫХ ДАННЫХ ДЛЯ МОДЕЛИ
  • 3.1. Общее представление
  • 3.2. Изображения
  • 3.3. Использование dlib
• 4. ПОДГОТОВКА ДАННЫХ ДЛЯ ОБУЧЕНИЯ
  • 4.1. Разговор отсуствует
  • 4.2. Разговор присутствует
• 5. ОБРАБОТКА АУДИО И ИЗОБРАЖЕНИЙ
  • 5.1. Аудио
  • 5.2. Изображения
• 6. ОБЗОР МОДЕЛЕЙ
  • 6.1. Сверточные сети
  • 6.2. Скрытые слои
  • 6.3. Классификаторы
    • 6.3.1. Randomforest и бинарные классификаторы
• 7. РЕАЛИЗАЦИЯ
  • 7.1. Язык и средства
  • 7.2. Архитектура программы
  • 7.3. Архитектура модели
• 8. АНАЛИЗ РЕЗУЛЬТАТОВ
  • 8.1. Тренировка моделей
    • 8.1.1. Созданная модель
    • 8.1.2. Random Forest
  • 8.2. Запуск программы
    • 8.2.1. Созданная модель
    • 8.2.2. Random Forest
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ