Details

Обоснована актуальность объединения LiDAR-сканирования и цветовой информации для повышения точности 3D-реконструкции и семантической сегментации. Выполнен анализ существующих методов калибровки LiDAR-камерных систем (шаблонные PnP-подходы, without-target алгоритмы, маркеры) и основных схем цветизации облаков точек (билинейная и билиатеральная фильтрация, графовые методы). Разработана математическая модель оценки экстерьера камеры методом PnP и передачи RGB-информации через билинейную интерполяцию четырёх соседних пикселей. Реализован прототип на Python с использованием OpenCV, Open3D и PyQt6, обеспечивающий автоматическое обнаружение и интерактивную доработку внутренних углов шахматной доски, оценку матриц R и T, ректификацию изображений по формату KITTI, проекцию точек на изображение и генерацию цветного облака. Проведено тестирование на данных, полученных из двух источников: а) открытый датасет KITTI; б) с лабораторного стенда, показавшее визуальную корректность результатов. Практическая значимость работы заключается в упрощении подготовки окрашенных облаков точек для задач мобильной робототехники и автономного вождения; предложенный прототип может быть интегрирован в исследовательские и промышленные конвейеры 3D-обработки.

The relevance of combining LiDAR scanning with RGB information is justified by its potential to improve the accuracy of 3D reconstruction and semantic segmentation. We analyze existing calibration methods for LiDAR–camera systems (template-based PnP approaches, target-less algorithms, fiducial markers) and primary schemes for point-cloud colorization (bilinear and bilateral filtering, graph-based techniques). A mathematical model is formulated for exterior‐orientation estimation via the PnP method and for transferring RGB data through bilinear interpolation of the four nearest pixels. The prototype is implemented in Python using OpenCV, Open3D, and PyQt6, providing automatic detection and interactive refinement of inner chessboard corners, estimation of rotation and translation matrices, image rectification according to the KITTI benchmark, projection of 3D points onto images, and generation of a colored point cloud. Testing was conducted on data obtained from two sources: a) the public KITTI dataset; b) from a laboratory setup, which demonstrated the visual correctness of the results. The practical significance of this work lies in simplifying the preparation of RGB-enhanced point clouds for mobile robotics and autonomous driving applications; the proposed prototype can be integrated into both research and industrial 3D-processing pipelines.