Details

Данная работа посвящена исследованию возможных способов экспортирования трехмерных координат позы человека из видеофрагмента в анимационный файл. Значимым ограничением при решении данной задачи является то, что в качестве входных данных должен использоваться монокулярный видео ролик. Для разработки системы сначала была изучена предметная область анимации движения. Это позволило обрести представление о подходах и методах, которые используются сегодня разработчиками и исследователями. После перехода на стадию реализации для каждого этапа был рассмотрен возможный инструментарий и выбран наиболее подходящий. Заключительная часть работы включает в себя разработку скрипта анимации и ручное тестирование полученной системы. Данная работа посвящена исследованию возможных способов экспортирования трехмерных координат позы человека из видеофрагмента в анимационный файл. Значимым ограничением при решении данной задачи является то, что в качестве входных данных должен использоваться монокулярный видео ролик. Для разработки системы сначала была изучена предметная область анимации движения. Это позволило обрести представление о подходах и методах, которые используются сегодня разработчиками и исследователями. После перехода на стадию реализации для каждого этапа был рассмотрен возможный инструментарий и выбран наиболее подходящий. Заключительная часть работы включает в себя разработку скрипта анимации и ручное тестирование полученной системы.

This work is aimed at researching the field of 3D human pose estimation and finding better way to export estimated pose into an animation file. One of the main constraint here is the format of the input data. It has to be a monocular video. At first, the field of human pose estimation was studied. It helped to gain an understanding of the approaches and methods that are used nowdays by developers and researchers. Secondly, for each stage of the system’s lifecycle the available tools was studied and the appropriate one was selected. The final part of the work includes the development of the animation script and manual testing of the pattern generation system. This work is aimed at researching the field of 3D human pose estimation and finding better way to export estimated pose into an animation file. One of the main constraint here is the format of the input data. It has to be a monocular video. At first, the field of human pose estimation was studied. It helped to gain an understanding of the approaches and methods that are used nowdays by developers and researchers. Secondly, for each stage of the system's lifecycle the available tools was studied and the appropriate one was selected. The final part of the work includes the development of the animation script and manual testing of the pattern generation system.

• СПИСОК ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ
• ВВЕДЕНИЕ
• 1. Обзор предметной области
  • 1.1. Анимация движений
  • 1.2. Классификация задач анимации движения
    • 1.2.1. Захват движения
    • 1.2.2. Редактирование движения
    • 1.2.3. Синтезирование движения
    • 1.2.4. Поиск движения
  • 1.3. Общая модель человеческого скелета
  • 1.4. Синтезирование движения
    • 1.4.1. Общий подход к решению задачи
    • 1.4.2. Ручные методы
    • 1.4.3. Методы, основанные на физических законах
    • 1.4.4. Методы на основе технологии захвата движений
  • 1.5. Синтез движения на основе видео
    • 1.5.1. Технологии определения позы человека
  • 1.6. Выводы
• 2. Разработка подхода к решению задачи
  • 2.1. Общее описание системы
  • 2.2. Использование моделей ИНС
  • 2.3. Архитектуры используемых моделей ИНС
    • 2.3.1. Модель на основе Mask R-CNN
    • 2.3.2. VideoPose3D
  • 2.4. Анализ используемой модели человеческого скелета
  • 2.5. Перспективы применения
  • 2.6. Выводы
• 3. Реализация
  • 3.1. Используемые инструменты
  • 3.2. Предобработка входного видео
  • 3.3. Получение координат поз
    • 3.3.1. Определение двумерных поз по видео
    • 3.3.2. Получение трехмерных поз
  • 3.4. Анимация
    • 3.4.1. Предобработка координат и создание позы
    • 3.4.2. Добавление empty-объектов
    • 3.4.3. Задание ограничений
    • 3.4.4. Анимирование суставных соединений
  • 3.5. Исследование работы модели и анализ результатов
  • 3.6. Выводы
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
  • ПРИЛОЖЕНИЕ 1. ЛИСТИНГИ
  • ПРИЛОЖЕНИЕ 2. ТАБЛИЦА СРАВНЕНИЯ МОДЕЛЕЙ ИНС