С 17 марта 2020 г. для ресурсов (учебные, научные, материалы конференций, статьи из периодических изданий, авторефераты диссертаций, диссертации) ЭБ СПбПУ, обеспечивающих образовательный процесс, установлен особый режим использования. Обращаем внимание, что ВКР/НД не относятся к этой категории.

Details

Title: Внедрение AR-функциональности в мобильное приложение для прямых трансляций OK Live: выпускная квалификационная работа бакалавра: 09.03.01 - Информатика и вычислительная техника ; 09.03.01_02 - Технологии разработки программного обеспечения
Creators: Ламтев Антон Юрьевич
Scientific adviser: Богач Наталья Владимировна
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2019
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: дополненная реальность; реалистичный рендеринг; виртуальный объект; augmented reality; realistic rendering; virtual object
Document type: Bachelor graduation qualification work
File type: PDF
Language: Russian
Speciality code (FGOS): 09.03.01
Speciality group (FGOS): 090000 - Информатика и вычислительная техника
Links: Отзыв руководителя; Рецензия; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2019/vr/vr19-912
Rights: Свободный доступ из сети Интернет (чтение, печать, копирование)

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

В данной работе рассматривается разработка и внедрение в iOS-приложение для прямых трансляций "OK Live" AR-функциональности, позволяющей добавлять в видеопоток управляемые анимированные виртуальные 3D объекты. Целью работы является совместить отслеживание окружающего мира посредством платформы дополненной реальности ARKit с рендерингом 3D объектов с помощью OpenGL ES для реализации обозначенной функциональности. Для достижения в реальном времени реалистичного рендеринга виртуальных объектов в условиях ограниченных ресурсов мобильных устройств применяются решающие эту задачу подходы компьютерной графики.

In this paper, we consider the development and integration into "OK Live" iOS-app for live broadcasts of an AR-functionality, which allows us to add managed animated virtual 3D objects to the video stream. The goal is to combine the tracking of the surrounding world through the ARKit augmented reality platform with the rendering of 3D objects using the OpenGL ES to implement designated functionality. To achieve realistic real-time rendering of virtual objects in conditions of limited resources of mobile devices, attention is paid to computer graphics approaches aimed at solving this problem.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
Internet Authorized users Read Print Download
-> Internet Anonymous

Table of Contents

  • СПИСОК ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ
  • ВВЕДЕНИЕ
  • 1. Анализ предметной области и существующих подходов
    • 1.1. Особенности платформы дополненной реальности ARKit
      • 1.1.1. Устройство и принцип работы
      • 1.1.2. Интерфейс прикладного программирования
      • 1.1.3. Сравнение с другими AR-платформами
    • 1.2. Подходы в компьютерной графике, используемые при рендеринге виртуальных объектов
      • 1.2.1. Пространства модели, мира, вида и экрана
      • 1.2.2. Матрицы Model, View и Projection
      • 1.2.3. Модель освещения Фонга
      • 1.2.4. Модель освещения Блинна-Фонга
      • 1.2.5. Теневые карты
    • 1.3. Обзор API для компьютерной 3D графики OpenGL ES
      • 1.3.1. Программируемый графический конвейер
      • 1.3.2. Язык шейдеров GL SL
  • 2. Проектирование
    • 2.1. Требования к разрабатываемой AR-функциональности
    • 2.2. Существующая инфраструктура OK Live, обеспечивающая работу AR-функциональности масок
    • 2.3. Определение подлежащих изменениям существующих модулей и определение новых модулей приложения OK Live и утилиты генерации масок
  • 3. Разработка и внедрение AR-функциональности
    • 3.1. Среда разработки
    • 3.2. Расширение формата моделей для поддержания 3D объектов
    • 3.3. Модификация утилиты генерации масок
    • 3.4. Модификация модуля захвата видеопотока приложения OK Live
    • 3.5. Разработка модуля дополненной реальности для приложения OK Live
    • 3.6. Модификация движка отрисовки объектов приложения OK Live
    • 3.7. Модификация графического интерфейса приложения OK Live
    • 3.8. Результат
  • 4. Обеспечение качества
    • 4.1. Слабые и средние тестовые оракулы
    • 4.2. Ручное тестирование
    • 4.3. Результат
  • ЗАКЛЮЧЕНИЕ
  • СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

Document usage statistics

stat Document access count: 13
Last 30 days: 0
Detailed usage statistics