Details

Задачей данной работы была поставлена проектировка и программная реализация системы виртуального хромакея, функционирующего в режиме реального времени, без необходимости использования физического зеленого хромакея. В рамках нескольких исследований был проведен анализ существующих алгоритмов сегментации переднего плана, включая статистические методы вычитания фона и современные нейросетевые подходы. По итогу выполнения работы и реализации поставленных задач была разработана система, объединяющая два вероятностных метода сегментации: алгоритм K NearestNeighbors, реализующий непараметрическую оценку плотности вероятности фона, и нейросетевую модель PPHumanSeg, формирующую апостериорные вероятности классов «фон» и «человек» через слой softmax. Для более стабильной и корректной работы метода KNN так же был разработан оригинальный функционал принудительной калибровки, фиксирующий вероятностную модель фона и обеспечивающий корректную работу виртуального хромакея. Было реализовано три опции для подмены фона: статическое изображение, видеофайл или захват экрана. Так же в готовой программе хромакея имеется поддержка двух видов водяных знаков с настраиваемой прозрачностью, запись видеопотока работы программы и создание снимков экрана. Графический интерфейс реализован на базе библиотеки ImGui, вывод видеопотока реализован через OpenGL. Приложение ориентировано на операционную систему Windows и не требует специализированного аппаратного обеспечения.

The objective of this thesis was the design and software implementation of a virtual chroma key system operating in real time without the need for a physical green chroma key. Throughout several studies, an analysis was conducted of existing foreground segmentation algorithms, including statistical background subtraction methods and modern neural network approaches. As a result of the work and the implementation of the stated objectives, a system was developed that combines two probabilistic segmentation methods: the K-Nearest Neighbors algorithm, which performs non‑parametric background probability density estimation, and the PPHumanSeg neural network model, which generates posterior probabilities for the “background” and “human” classes via a softmax layer. For more stable and correct operation of the KNN method, an original forced calibration feature was also developed, which freezes the probabilistic background model and ensures correct virtual chroma key operation. Three options for background replacement were implemented: a staticimage, a video file, or screen capture. The finished chroma key program also supports two types of watermarks with adjustable transparency, recording ofthe program’s video output stream, and screen capture functionality. The graphical user interface is implemented using the ImGui library, while video output is rendered through OpenGL. The application is targeted at the Windows operating system and does not require specialized hardware.