Details

Объект исследования — средства компьютерного зрения для оценки эмоций при взаимодействии с взаимозаменяемыми приложениями и алгоритмы расчёта индивидуального эффекта при смене интерфейса. Цель работы — анализ методов оценки пользовательских эмоций и индивидуального эффекта, а также разработка экспериментального стенда для проведения исследований. Методика исследования включает сравнение пользовательских реакций при работе с разными браузерами. Фиксировались направление взгляда, выражения лица и действия с интерфейсом. Индивидуальный эффект рассчитывался с применением мета-алгоритмов машинного обучения. Результаты исследования показали, что совместное использование трекинга взгляда и распознавания эмоций повышает точность и надёжность оценки реакции пользователей. При сравнении моделей, используемых различные мета-алгоритмы и методы машинного обучения, наиболее устойчивые результаты продемонстрировала модель X-learner + Custom Forest. Тестирование на синтетических данных с высокой гетерогенностью подтвердило корректность работы авторской реализации модели. Область применения — UX-аналитика, оценка интерфейсов, адаптивные системы, веб-приложения, образовательные и маркетинговые платформы и исследования, связанные с взаимодействием человека с компьютером. В рамках исследования использовались персональный компьютер с веб-камерой, браузер с поддержкой JavaScript, библиотеки Python (scikit-learn, pandas, causalml), MS Visio, Archi и MS Word для визуализации и подготовки отчёта.

The object of research is computer vision tools for assessing emotions when interacting with interchangeable applications and algorithms for calculating the individual effect when changing the interface. The aim of the work is to analyze the methods of estimation of user emotions and individual effect, as well as to develop an experimental stand for research. The research methodology includes comparison of user reactions when working with different browsers. Gaze direction, facial expressions and interface actions were recorded. The individual effect was calculated using machine learning meta-algorithms. The results of the study showed that the combined use of gaze tracking and emotion recognition improves the accuracy and reliability of user response evaluation. When comparing models using different meta-algorithms and machine learning methods, the most stable results were demonstrated by the X-learner + Custom Forest model. Testing on synthetic data with high heterogeneity confirmed the correctness of the authors implementation of the model. The field of application is UX-analytics, interface evaluation, adaptive systems, web applications, educational and marketing platforms and research related to human-computer interaction. The research used a personal computer with a webcam, a browser with JavaScript support, Python libraries (scikit-learn, pandas, causalml), MS Visio, Archi and MS Word for visualization and report preparation.

• Исследование средств оценки пользовательских эмоций и индивидуального эффекта на примере сравнения браузеров
  • Введение
  • 1. Исследование методов и средств оценки пользовательских эмоций и индивидуального эффекта
  • 2. Проектирование экспериментального стенда
  • 3. Реализация экспериментального стенда
  • 4. Тестирование экспериментального стенда, полевые исследования и эксперименты
  • Заключение
  • Список сокращений и условных обозначений
  • Словарь терминов
  • Список использованных источников
  • Приложение 1 Программный код приложения