Details

Данная работа посвящена системному анализу существующих решений в области распознавания движений человека и разработке требований, архитектуры и математического аппарата для создания ИИ-модуля точечной оценки корректности исполнения движений. Разрабатываемый подход ориентирован на работу в реальном времени с учётом значимости отдельных суставов и типа двигательной активности. Задачи, которые решались в ходе исследования: 1) Проведение сравнительного анализа систем распознавания движений MoveNet, OpenPose, ViTPose, OmniPose, NeuroCore, PoseGone по критериям точности, скорости, устойчивости и количеству ключевых точек, а также формулирование требований к новой системе; 2) Разработка алгоритма ИИ-модуля, включающего модули предобработки, распознавания ключевых точек, временного трекинга, вычисления биомеханических параметров, сравнения с эталоном, визуализации и экспорта данных, а также создание математического аппарата взвешенной оценки движений; 3) Формирование эталонных баз данных для трёх хореографических сценариев с определением весов суставов для каждого стиля и проверка устойчивости системы MoveNet на этих сценариях с расчётом метрик PCK и OKS. Работа проведена на основе системного подхода, при котором ИИ-модуль рассматривается как часть автоматизированной системы контроля движений. Для апробации предложенного математического аппарата выполнен расчёт взвешенного расстояния и метрик точности для шести ракурсов на трёх сценариях. Проведено сценарное тестирование системы MoveNet, в ходе которого вычислены значения OKS (от 70,2% до 86,68%) и PCK (от 35,3% до 94,1%) при требуемых нормах 85% и 95% соответственно. Проведён анализ полученных результатов. Установлено, что система MoveNet недостаточно устойчива к перекрытиям конечностей, широкой одежде, насыщенному фону и сложным позам, что подтверждается низкими показателями PCK (35–65%) для сценариев «плие» и «батман тандю». Наиболее приемлемые результаты достигнуты для статичной позы «пор де бра» с контрастным фоном и обтягивающей одеждой. На основании анализа обоснована необходимость создания нового ИИ-модуля, который должен включать умную обрезку кадра, автоматический расчёт PCK/OKS на первых кадрах, поддержку не менее 29 ключевых точек для хореографии, 3D-координаты, калибровку роста пользователя и ручную коррекцию точек. А также систему можно использовать в промышленности, где качество продукции зависит от точных действий оператора. Для этого есть возможность индивидуально настраивать количество ключевых точек и веса суставов с учетом узкой специализации предприятия. Для достижения данных результатов в работе использованы следующие информационные технологии и инструменты: технологии компьютерного зрения и обработки видео: MoveNet, OprnPose, ViTPose, OmniPose, NeuroCore, PoseGome. Локальная файловая база данных эталонных скелетных моделей, организованная в виде иерархической структуры каталогов по признакам. Технологии искусственного интеллекта, реализованные в модуле оценки позы человека на основе сверточных нейронных сетей. Технологии виртуальной и дополненной реальности, используемые в модуле визуализации для наложения скелетной модели на видеопоток с градиентной подсветкой суставов в зависимости от степени отклонения от эталонных значений. Для расчёта метрик и взвешенных расстояний использовались формулы OKS, PCK и DTW.

This work is devoted to a systematic analysis of existing solutions in the field of human movement recognition and the development of requirements, architecture and mathematical apparatus for creating an AI module for the point assessment of the correctness of movement execution. The developed approach is focused on real-time work, considering the importance of individual joints and the type of motor activity. Tasks that were solved during the research: 1) Conducting a comparative analysis of motion recognition systems MoveNet, OpenPose, ViTPose, OmniPose, NeuroCore, PoseGone according to the criteria of accuracy, speed, stability and number of key points, as well as formulation of requirements for the new system; 2) Development of an AI module algorithm, which includes modules for preprocessing, recognition of key points, time tracking, calculation of biomechanical parameters, comparison with a reference, visualization and export of data, as well as the creation of a mathematical apparatus for weighted assessment of movements; 3) Creation of reference databases for three choreographic scenarios with the determination of joint weights for each style and verification of the stability of the MoveNet system in these scenarios with the calculation of PCK and OKS metrics. The work was carried out based on a systematic approach, in which the AI module is considered as part of an automated motion control system. To test the proposed mathematical apparatus, the weighted distance and accuracy metrics were calculated for six camera angles in three scenarios. Scenario testing of the MoveNet system was carried out, during which the values of OKS (from 70.2% to 86.68%) and PCK (from 35.3% to 94.1%) were calculated at the required rates of 85% and 95%, respectively. The analysis of the results obtained is carried out. It was found that the MoveNet system is insufficiently resistant to overlapping limbs, wide clothing, saturated backgrounds and complex poses, which is confirmed by low PCK values (35-65%) for the "plie" and "Batman tandem" scenarios. The most acceptable results were achieved for the static "port de bra" pose with a contrasting background and tight clothing. Based on the analysis, the need to create a new AI module is justified, which should include smart frame cropping, automatic PCK/OKS calculation on the first frames, support for at least 29 key points for choreography, 3D coordinates, user height calibration and manual point correction. The system can also be used in industry, where product quality depends on the precise actions of the operator. To do this, it is possible to individually adjust the number of key points and joint weights, considering the narrow specialization of the enterprise. To achieve these results, the following information technologies and tools were used in the work: computer vision and video processing technologies: MoveNet, OprnPose, ViTPose, OmniPose, NeuroCore, PoseGome. A local file database of reference skeletal models, organized in a hierarchical directory structure by feature. Artificial intelligence technologies are implemented in the human posture assessment module based on convolutional neural networks. Virtual and augmented reality technologies used in the visualization module to overlay a skeletal model on a video stream with gradient illumination of joints, depending on the degree of deviation from the reference values. The formulas OKS, PCK, and DTW were used to calculate metrics and weighted distances.