Детальная информация

Название: Разработка системы распределенного хранения и обработки большого объема LIDAR данных: выпускная квалификационная работа магистра: направление 09.04.04 «Программная инженерия» ; образовательная программа 09.04.04_01 «Технология разработки и сопровождения качественного программного продукта»
Авторы: Степанов Павел Андреевич
Научный руководитель: Дробинцев Павел Дмитриевич
Другие авторы: Локшина Екатерина Геннадиевна
Организация: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Выходные сведения: Санкт-Петербург, 2020
Коллекция: Выпускные квалификационные работы; Общая коллекция
Тематика: LIDAR; rosbag; hadoop; hdfs; apache spark; распределенные вычисления; сжатие с потерями; distributed computing; lossy compression
Тип документа: Выпускная квалификационная работа магистра
Тип файла: PDF
Язык: Русский
Код специальности ФГОС: 09.04.04
Группа специальностей ФГОС: 090000 - Информатика и вычислительная техника
Ссылки: Отзыв руководителя; Рецензия; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2020/vr/vr20-1775
Права доступа: Доступ по паролю из сети Интернет (чтение, печать, копирование)

Разрешенные действия:

Действие 'Прочитать' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети Действие 'Загрузить' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети

Группа: Анонимные пользователи

Сеть: Интернет

Аннотация

Тема выпускной квалификационной работы: «Разработка системы распределенного хранения и обработки большого объема LIDAR данных». Технология LIDAR является одной из наиболее перспективных технологий в области компьютерного зрения и распознавания объектов. Данная технология активно применяется в беспилотных автомобилях. Но из-за больших объемов и сложной структуры таких данных их сложно эффективно хранить и обрабатывать. Поэтому данная работа посвящена исследованию методов распределенного хранения и обработки больших объемов LIDAR данных, собранных с беспилотных автомобилей под управлением фреймворка ROS. Задачи, которые решались в ходе исследования: 1. Исследование существующих решений в области хранения и обработки LIDAR данных; 2. Выбор стека технологий; 3. Построение архитектуры программного средства; 4. Разработка подхода к распределенному чтению bag файлов; 5. Реализация алгоритма сжатия LIDAR данных; 6. Анализ результатов; Для повышения производительности обработки LIDAR данных в этой работе были применены инструменты экосистемы Apache Hadoop для построения системы с распределенным хранением и параллельной обработкой данных. Предлагается использовать файловую систему HDFS в качестве надежного хранилища, а Apache Spark в качестве движка для параллельной обработки. В качестве примера распределенной обработки на движке Apache Spark представлен алгоритм сжатия LIDAR данных с потерями. В результате работы была разработана система распределенного хранения и обработки большого объема LIDAR данных с использованием HDFS и движка Apache Spark. Представленный в рамках данной работы подход к чтению bag файлов позволил добиться значительного прироста в скорости чтения и обработки лог-файлов операционной системы ROS в сравнении с вычислениями на одной машине.

The subject of the graduate qualification work is “Development of a distributed storage and processing system for a large amount of LIDAR data”. LIDAR technology is one of the most promising technologies in computer vision and object recognition. This technology is already actively used in self-driving cars. However, it is challenging to effectively store and compute LIDAR data because of its large volumes and complex structure. Therefore, this work is devoted to the study of methods for distributed storage and processing of large volumes of LIDAR data collected from unmanned vehicles controlled by the ROS framework. The research set the following goals: 1. Studying existing solutions in the field of storage and processing of LIDAR data; 2. Technology stack selection; 3. Development of the software architecture; 4. Development of the approach for distributed reading of bag files; 5. Implementation of the LIDAR data compression algorithm; 6. Analysis of the results; In order to increase processing productivity this paper proposes usage of Hadoop ecosystems’ tools to build a system with distributed storage and parallel data processing. It is offered to use HDFS as a reliable data storage and Apache Spark as a parallel processing engine for LIDAR data. Also, this paper presents a lossy compression algorithm as an example of distributed processing with Apache Spark. The results show that the proposed tools can effectively process a large amount of LIDAR data. As the result of this work, a system for distributed storage and processing of a large amount of LIDAR data was developed. The approach to reading bag files presented in this work made it possible to achieve a significant increase in the speed of reading and processing log files of the ROS operating system in comparison with calculations on a single machine.

Права на использование объекта хранения

Место доступа Группа пользователей Действие
Локальная сеть ИБК СПбПУ Все Прочитать Печать Загрузить
Интернет Авторизованные пользователи Прочитать Печать Загрузить
-> Интернет Анонимные пользователи

Статистика использования

stat Количество обращений: 2
За последние 30 дней: 1
Подробная статистика