Details

Данная работа посвящена разработке метода создания физически корректного видео дрон-шоу, основываясь исключительно на входном изображении, а также созданию автоматизированных тестов (бенчмарков) для оценки качества генерации изображений. Работа может использоваться для создания предварительной демонстрации шоу, особенно если в представлении планируется показать взаимодействие физических объектов (шары для бильярдов, шайбы для керлинга).В результате создан конвейер, по которому проходит изображение: выделяются движимые и недвижимые сущности, решается задача детекции и семантической сегментации, формируются карты глубины и нормалей, численно решается система дифференциальных уравнений, описывающая движение системы твердых тел. Также создана группа бенчмарков, оценивающих следующие характеристики: число дронов на сгенерированном изображении (как следствие абсолютную и относительную погрешности), зашумленность изображения, равномерность распределения дронов, а также, четкость изображения.

This paper is devoted to the development of a method for creating a physically correct drone show video based solely on the input image, as well as the creation of automated tests (benchmarks) to evaluate the quality of image generation. The work can be used to create a preliminary demonstration of the show, especially if the performance is planned to show the interaction of physical objects (billiard balls, curling pucks). As a result, a conveyor belt is created, through which the image passes: movable and immovable entities are selected, the problem of detection and semantic segmentation is solved, depth and normal maps are formed, the system of differential equations describing the motion of a system of solid bodies is numerically solved. A group of benchmarks is also created to evaluate the following characteristics: the number of drones in the generated image (consequently, absolute and relative errors), image noise, uniformity of drone distribution, and image clarity.