Детальная информация

Предметом исследования являются методы построения и обучения сверточных нейронных сетей для оценки направления взгляда, а именно влияние способа представления выходных данных (предсказание двух углов против предсказания трехмерного вектора) на точность и интерпретируемость результатов. Объектом исследования выбран процесс определения направления взгляда человека по нормализованному изображению области глаз, полученному с помощью обычной веб-камеры. Цель работы заключается в разработке программного комплекса для определения направления взгляда по изображению глаза с использованием сверточных нейронных сетей, обеспечивающего точность, сопоставимую с аппаратными айтрекерами. В работе представлен сравнительный анализ трех моделей: математической с функцией потерь MSE, математической с прямой минимизацией угловой ошибки и физической с выходом на трехмерный вектор и L2-нормализацией. Установлено, что только физическая постановка обеспечивает одновременно высокую точность (средняя угловая ошибка 1,21° на одном участнике) и интерпретируемость предсказываемых углов. Проведена кросс-валидация физической модели на 15 участниках датасета MPIIGaze, средняя угловая ошибка составила 10,7°, что соответствует мировому уровню (GazeNet – 10,8°). Выполнен анализ применимости результатов для различных областей (ассистивные технологии, UX-аналитика, автомобильные системы).

The subject of the graduate qualification work is the methods of constructing and training convolutional neural networks for gaze direction estimation, namely, the influence of the output representation (two angles prediction versus three‑dimensional vector prediction) on the accuracy and interpretability of the results. The object of the study is the process of determining human gaze direction from a normalized eye region image obtained using an ordinary web camera. The aim of the work is to develop a software system for gaze direction estimation from an eye image using convolutional neural networks, providing accuracy comparable to hardware eye trackers. The work presents a comparative analysis of three models: a mathematical model with MSE loss, a mathematical model with direct angular error minimization, and a physical model with 3D vector output and L2 normalization. It is established that only the physical formulation simultaneously provides high accuracy (mean angular error of 1.21° on a single participant) and interpretability of the predicted angles. Cross‑validation of the physical model on 15 participants of the MPIIGaze dataset was performed; the mean angular error was 10.7°, which corresponds to the state‑of‑the‑art level (GazeNet – 10.8°). An analysis of the applicability of the results for various domains (assistive technologies, UX analytics, automotive systems) is carried out.