Details

Данная работа посвящена разработке системы отслеживания перемещения вектора взгляда человека по изображению его лица.  Задачи, которые решались в ходе исследования:  1. Изучить основные подходы к решению подобного рода задач, определиться с ограничениями, налагаемыми на систему. 2. Решить задачу по детектированию лица на изображении и определению его характерных точек. 3. Решить задачу трехмерной реконструкции лица по характерным точкам, вычислить позу головы используя полученную сетку точек. 4. Для заданной области глаза найти центр его зрачка решая оптимизационную задачу по поиску наилучшего эллипса. 5. Проанализировать результаты, сравнивая поле точек взгляда с базовыми фигурами. В результате были получены 3 модели: предиктор реперных точек лица на изображении; модель определения позы головы; модель поиска эллипса зрачка. Данный набор моделей был собран вместе и имплементирован на языке C++ в рамках одной системы.

This work is dedicated to the development of a system for tracking the direction of a person’s gaze based on an image of their face. The objectives of the study included:  1. Studying the main approaches to solving similar tasks and identifying the systems constraints. 2. Solving the problem of face detection in the image and locating facial landmarks. 3. Performing 3D reconstruction of the face from landmarks and estimating head pose using the obtained point mesh. 4. Finding the pupil center within the eye region by solving an optimization problem of best ellipse fitting. 5. Analyzing the results by comparing the set of gaze points with predefined geometric shapes. As a result, three models were developed: a facial landmark predictor, a head pose estimation model, and a pupil ellipse detection model. These models were integrated and implemented in C++ as a single functional system.

• ВВЕДЕНИЕ
• ГЛАВА 1. ОБЩАЯ ПОСТАНОВКА ЗАДАЧИ
• ГЛАВА 2. ПРЕДИКТОР СЕТКИ ЛИЦА
  • 1.
  • 2.
  • 2.1. Алгоритм
    • 2.1.1. Определения
    • 2.1.2. Обучение регрессоров
  • 2.2. Каскад регрессоров
    • 2.2.1. Инвариантные относительно формы сплит-тесты
    • 2.2.2. Выбор узла дерева
    • 2.2.3. Выбор фич
  • 2.3. Валидация
• ГЛАВА 3. ВЫЧИСЛЕНИЕ ПОЗЫ ГОЛОВЫ
  • 3.1. Постановка
  • ГЛАВА 1.
  • ГЛАВА 2.
  • ГЛАВА 3.
  • 3.2. Вычисление трансляционного вектора и матрицы поворота
  • 3.3. Алгоритм Perspective-n-Point
• ГЛАВА 4. ПОИСК ЭЛЛИПСА ЗРАЧКА
  • 4.1. Подготовка изображения
    • 4.1.1. Фильтр Гаусса
    • 4.1.2. Бинаризация Отцу
    • 4.1.3. Оператор Собеля
    • 4.1.4. Детектор Кэнни
  • 4.2. Поиск контуров
  • 4.3. Аппроксимация эллипса
  • 4.4. Валидация
• ГЛАВА 5. ПОСТРОЕНИЕ ВИРТУАЛЬНОЙ СЦЕНЫ
  • 5.1. Определение сцены
  • 5.2. Оптимизация плоскости
  • 5.3. Валидация позиции курсора
• ГЛАВА 6. ИМПЛЕМЕНТАЦИЯ СИСТЕМЫ
  • 6.1. Используемые технологии
  • 6.2. Структурная схема
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ