В данной работе рассматривается разработка и внедрение в iOS-приложение для прямых трансляций "OK Live" AR-функциональности, позволяющей добавлять в видеопоток управляемые анимированные виртуальные 3D объекты. Целью работы является совместить отслеживание окружающего мира посредством платформы дополненной реальности ARKit с рендерингом 3D объектов с помощью OpenGL ES для реализации обозначенной функциональности. Для достижения в реальном времени реалистичного рендеринга виртуальных объектов в условиях ограниченных ресурсов мобильных устройств применяются решающие эту задачу подходы компьютерной графики.

In this paper, we consider the development and integration into "OK Live" iOS-app for live broadcasts of an AR-functionality, which allows us to add managed animated virtual 3D objects to the video stream. The goal is to combine the tracking of the surrounding world through the ARKit augmented reality platform with the rendering of 3D objects using the OpenGL ES to implement designated functionality. To achieve realistic real-time rendering of virtual objects in conditions of limited resources of mobile devices, attention is paid to computer graphics approaches aimed at solving this problem.

• СПИСОК ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ
• ВВЕДЕНИЕ
• 1. Анализ предметной области и существующих подходов
  • 1.1. Особенности платформы дополненной реальности ARKit
    • 1.1.1. Устройство и принцип работы
    • 1.1.2. Интерфейс прикладного программирования
    • 1.1.3. Сравнение с другими AR-платформами
  • 1.2. Подходы в компьютерной графике, используемые при рендеринге виртуальных объектов
    • 1.2.1. Пространства модели, мира, вида и экрана
    • 1.2.2. Матрицы Model, View и Projection
    • 1.2.3. Модель освещения Фонга
    • 1.2.4. Модель освещения Блинна-Фонга
    • 1.2.5. Теневые карты
  • 1.3. Обзор API для компьютерной 3D графики OpenGL ES
    • 1.3.1. Программируемый графический конвейер
    • 1.3.2. Язык шейдеров GL SL
• 2. Проектирование
  • 2.1. Требования к разрабатываемой AR-функциональности
  • 2.2. Существующая инфраструктура OK Live, обеспечивающая работу AR-функциональности масок
  • 2.3. Определение подлежащих изменениям существующих модулей и определение новых модулей приложения OK Live и утилиты генерации масок
• 3. Разработка и внедрение AR-функциональности
  • 3.1. Среда разработки
  • 3.2. Расширение формата моделей для поддержания 3D объектов
  • 3.3. Модификация утилиты генерации масок
  • 3.4. Модификация модуля захвата видеопотока приложения OK Live
  • 3.5. Разработка модуля дополненной реальности для приложения OK Live
  • 3.6. Модификация движка отрисовки объектов приложения OK Live
  • 3.7. Модификация графического интерфейса приложения OK Live
  • 3.8. Результат
• 4. Обеспечение качества
  • 4.1. Слабые и средние тестовые оракулы
  • 4.2. Ручное тестирование
  • 4.3. Результат
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ