Детальная информация
Предмет исследования. Оптическая цифровая окулография - определение направления взгляда оператора. Цель работы. Создание технологии определения направления взгляда операторов при работе с мониторами. Методы. Использованы методы оптической окулографии (айтрекинга) и цифровой обработки изображений с помощью свёрточной нейронной сети. Использован PyTorch - фреймворк машинного обучения для языка Python. Основные результаты. Создан алгоритм последовательности оптических измерений и обработки полученных изображений свёрточной нейронной сетью, обученной на разнообразных массивах данных. Обеспечено обнаружение глаз, радужки, зрачков и бликов в кадре, при этом геометрический центр сферы (глазного яблока) принят как источник взгляда, а направление взгляда - как вектор, проведённый от этого центра через центр зрачка на наблюдаемый оператором экран монитора. Точка пересечения вектора взгляда с экраном представлена в координатах монитора. Практическая значимость. Технология определения направления взгляда является важнейшим элементом ассистивных технологий гибридного интеллекта, предназначенных для применения в эргономике, медицине, маркетинге и транспорте.
Subject of the study. Optical digital oculography - determining the operator’s gaze direction. Purpose of the study. Developing a technology for determining the gaze direction of operators working with video terminals. Methods. Optical oculography (eye tracking) and digital image processing using a convolutional neural network were used. PyTorch, a machine learning framework for the Python language, was utilized. Main results. An algorithm (pipeline) was developed for a sequence of optical measurements and processing of the resulting images using a convolutional neural network trained on diverse datasets. Detection of eyes, irises, pupils, and glare in the frame is ensured. The geometric center of the sphere (the eyeball) is used as the gaze source, and gaze direction is defined as a vector drawn from this center through the center of the pupil to the monitor screen observed by the operator. The intersection point of the gaze vector with the screen is represented in monitor coordinates. Practical significance. Gaze detection technology is a key element of hybrid intelligence assistive technologies and is intended for use in ergonomics, medicine, marketing, and transportation.
Количество обращений: 54
За последние 30 дней: 15
