Тема выпускной квалификационной работы: «Разработка системы распределенного хранения и обработки большого объема LIDAR данных». Технология LIDAR является одной из наиболее перспективных технологий в области компьютерного зрения и распознавания объектов. Данная технология активно применяется в беспилотных автомобилях. Но из-за больших объемов и сложной структуры таких данных их сложно эффективно хранить и обрабатывать. Поэтому данная работа посвящена исследованию методов распределенного хранения и обработки больших объемов LIDAR данных, собранных с беспилотных автомобилей под управлением фреймворка ROS. Задачи, которые решались в ходе исследования: 1. Исследование существующих решений в области хранения и обработки LIDAR данных; 2. Выбор стека технологий; 3. Построение архитектуры программного средства; 4. Разработка подхода к распределенному чтению bag файлов; 5. Реализация алгоритма сжатия LIDAR данных; 6. Анализ результатов; Для повышения производительности обработки LIDAR данных в этой работе были применены инструменты экосистемы Apache Hadoop для построения системы с распределенным хранением и параллельной обработкой данных. Предлагается использовать файловую систему HDFS в качестве надежного хранилища, а Apache Spark в качестве движка для параллельной обработки. В качестве примера распределенной обработки на движке Apache Spark представлен алгоритм сжатия LIDAR данных с потерями. В результате работы была разработана система распределенного хранения и обработки большого объема LIDAR данных с использованием HDFS и движка Apache Spark. Представленный в рамках данной работы подход к чтению bag файлов позволил добиться значительного прироста в скорости чтения и обработки лог-файлов операционной системы ROS в сравнении с вычислениями на одной машине.

The subject of the graduate qualification work is “Development of a distributed storage and processing system for a large amount of LIDAR data”. LIDAR technology is one of the most promising technologies in computer vision and object recognition. This technology is already actively used in self-driving cars. However, it is challenging to effectively store and compute LIDAR data because of its large volumes and complex structure. Therefore, this work is devoted to the study of methods for distributed storage and processing of large volumes of LIDAR data collected from unmanned vehicles controlled by the ROS framework. The research set the following goals: 1. Studying existing solutions in the field of storage and processing of LIDAR data; 2. Technology stack selection; 3. Development of the software architecture; 4. Development of the approach for distributed reading of bag files; 5. Implementation of the LIDAR data compression algorithm; 6. Analysis of the results; In order to increase processing productivity this paper proposes usage of Hadoop ecosystems’ tools to build a system with distributed storage and parallel data processing. It is offered to use HDFS as a reliable data storage and Apache Spark as a parallel processing engine for LIDAR data. Also, this paper presents a lossy compression algorithm as an example of distributed processing with Apache Spark. The results show that the proposed tools can effectively process a large amount of LIDAR data. As the result of this work, a system for distributed storage and processing of a large amount of LIDAR data was developed. The approach to reading bag files presented in this work made it possible to achieve a significant increase in the speed of reading and processing log files of the ROS operating system in comparison with calculations on a single machine.