Details

Тема выпускной квалификационной работы: «Разработка программного комплекса для детекции и классификации действий человека в офисе с использованием методов глубокого обучения.» Объект исследования – процесс автоматического распознавания и классификации действий человека в офисной среде, обработка и визуализация полученных данных. Предмет исследования – архитектура и методы глубокого обучения для распознавания и классификации действий человека на основе видео, методы и технологии веб-визуализации результатов в составе программной системы. Цель работы – разработка программного комплекса для распознавания и классификации действий человека в офисной среде с использованием методов глубокого обучения и визуализации данных через веб-платформу. В работе решены следующие задачи: • Проведен анализ предметной области; • Сформулированы функциональные и нефункциональные требования к комплексу; • Выполнен сравнительный анализ и обоснован выбор используемых технологий; • Реализован программный комплекс; • Проведена апробация в офисной среде. Полученные результаты: • Точность классификации действий на тестовой выборке – 91.3%; • Модуль детекции обрабатывает видео на GPU со скоростью 36.7 кадров/с; • Серверная часть выдерживает нагрузку более чем 2000 запросов/с. • Протокол HTTP Range дал возможность для быстрой перемотки. • Механизм polling позволяет генерировать отчеты за месяц в среднем за 8.3 секунды. Научная новизна заключается в объединении гибридной CNN-LSTM модели на скелетных данных с веб-интерфейсом, который использует веб- протоколы, которые адаптированы к офисной среде. Практическая значимость заключается в возможности внедрения разработанного комплекса в офисные подразделения с целью объективной оценки распределения рабочего времени в течение дня.

The topic of the final qualifying work: "Development of a software package for detecting and classifying human actions in the office using deep learning methods." The object of research is the process of automatic recognition and classification of human actions in an office environment, processing and visualization of the data obtained. The subject of the research is architecture and methods of deep learning for recognizing and classifying human actions based on video, methods and technologies for web visualization of results as part of a software system. The aim of the work is to develop a software package for recognizing and classifying human actions in an office environment using deep learning methods and data visualization via a web platform. The following tasks have been solved in the work: • The analysis of the subject area is carried out; • Functional and non-functional requirements for the complex are formulated; • A comparative analysis has been performed and the choice of technologies used has been justified; • Implemented a software package; • It has been tested in an office environment. The results obtained: • The accuracy of classifying actions in the test sample is 91.3%; • The detection module processes video on the GPU at a speed of 36.7 frames/s; • The server part can withstand a load of more than 2000 requests/s; • The HTTP Range protocol has made it possible to fast forward; • The polling mechanism allows you to generate monthly reports in an average of 8.3 seconds. The scientific novelty lies in combining a hybrid CNN-LSTM model based on skeletal data with a web interface that uses web protocols that are adapted to the office environment. The practical significance lies in the possibility of implementing the developed complex in office units to objectively assess the distribution of working hours during the day.