Details

Целью работы является разработка минимально жизнеспособного программного инструмента, демонстрирующего применимость видеозаписей экрана как источника информации для анализа пользовательской активности. Предметом выступают методы извлечения и интерпретации данных из видеозаписей экрана, подходы к сбору и анализу информации об активности за компьютером. Методологическая основа разработки включает в себя точные алгоритмы компьютерного зрения (преобразование Хафа, алгоритм Сузуки-Абе); машинного обучения, в частности – распознавания текста на изображениях, определения схожести контекстов. В результате был представлен прототип, выполняющий раскадровку видео, детекцию и базовую идентификацию оконных элементов, построение аналитики, описывающей интервал активности, на основе информации, извлечённой из видеозаписи. Прототип имеет дружелюбный пользовательский интерфейс, поддерживает возможность работы с видеозаписями экрана наиболее популярных операционных систем. Программа успешно протестирована на реальных данных. Результаты разработки могут быть использованы в системах прокторинга, при анализе удаленных подключений и в других сценариях, в которых невозможно прямое считывание информации о действиях пользователя из системы, но имеется доступ к видеозаписи экрана. Таким образом, обозначенные задачи были выполнены, цель ВКР достигнута.

The purpose of the research is to develop a minimum viable software tool that demonstrates the applicability of screen recordings as a source of information for analyzing user activity. The subject includes methods for extracting and interpreting data from screen recordings, as well as approaches to collecting and analyzing information about computer activity. The methodological basis of the development involves precise computer vision algorithms (Hough Transform, Suzuki-Abe algorithm) and machine learning techniques, in particular — text recognition in images and contextual similarity analysis. As a result, a prototype was developed that performs video frame extraction, detection and basic identification of window elements, and builds analytics describing activity intervals based on information extracted from the recording. The prototype features a user-friendly interface and supports screen recordings from the most popular operating systems. The software has been successfully tested on real-world data. The results of the development can be applied in proctoring systems, remote session analysis, and other scenarios where direct access to system-level user interaction data is not possible, but a screen recording is available. Thus, the outlined objectives have been achieved, and the goal of the work has been fulfilled.