Details

В данной работе рассматривается задача устранения размытия на изображениях при реконструкции 3D-сцен методом 3D-гауссового сплаттирования. Актуальность темы обусловлена тем, что размытость (например, из-за дефокусировки объектива или движения камеры/объектов) значительно снижает качество создаваемых моделей и изображений при современных методах синтеза видов сцены. Целью настоящей работы является усовершенствование существующего метода устранения размытия в 3D-гауссовом спрлаттровании (на основе подхода Deblurring 3D Gaussian Splatting, Lee et al., 2024)[6] «с направленностью на повышение качества восстановления деталей и устойчивости алгоритма, сохраняя при этом преимущества 3D-гауссового сплаттирования (высокое качество визуализации и близкую к реальному времени скорость рендеринга)». В работе приведён обзор современной предметной области: обсуждаются принципы NeRF, технология 3D-гауссового сплаттирования и модели размытия, а также сформулированы общие требования к методам устранения размытия. Описывается предлагаемый метод, основанный на динамической корректировке параметров 3D-гауссов с помощью нейросетевого модуля. Предполагается, что внесённые улучшения позволят получать ещё более резкие и детализированные изображения из размытых исходных кадров. Значимость работы заключается в повышении качества и надёжности методов устранения размытия в 3D-гауссовом сплаттировании, что расширяет возможности применения этой технологии в более сложных условиях съёмки. Для достижения результата работы были использованы следующие информационные технологии: ЯП Python, TensorFlow, Google Colab, ONNX.

This paper considers the problem of eliminating blurring in images when reconstructing 3D scenes using the 3D Gaussian splitting method. The relevance of the topic is due to the fact that blurring (e.g., due to lens defocusing or camera/object movement) significantly reduces the quality of created models and images in modern methods of scene view synthesis. The aim of this paper is to improve the existing method of blur removal in 3D Gaussian Splatting (based on the Deblurring 3D Gaussian Splatting approach, Lee et al., 2024)[6] «with a focus on improving the quality of detail recovery and stability of the algorithm, while maintaining the ad-vantages of 3D Gaussian Splatting (high visualisation quality and near real-time rendering speed)». The paper gives an overview of the state-of-the-art subject area: it discusses the principles of NeRF, 3D Gaussian splitting technology and blur models, and formulates general requirements for blur removal methods. A proposed method based on dynamic adjustment of 3D Gaussian parameters using a small neural net-work module is described. The improvements made are expected to produce even sharper and more detailed images from blurred source frames. The significance of the work lies in improving the quality and reliability of blur removal methods in 3D Gaussian sputtering, which expands the possibilities of applying this technology in more complex shooting conditions. Following technologies were used to achieve the goal of the work: Python, TensorFlow, Google Colab, ONNX.