Объектом исследования является область интеграции данных. Предмет исследования - распределенная система сбора, обработки и анализа геопространственных данных. Целью данной работы является создание распределенной системы, способной эффективно собирать, обрабатывать и анализировать геопространственные данные с использованием передовых технологий интеграции данных. Задачи, которые решались в ходе выполнения работы: – Установить требования к создаваемой системе и выполнить обзор предметной области. – Выбрать инструмент интеграции данных для реализации системы. – Реализовать распределенную систему сбора, обработки и анализа геопространсвтенных данных с использованием выбранного инструмента. – Провести тестирование и апробацию реализованной системы. Использовались методы сравнительного анализа различных инструментов интеграции данных, а так же полевого исследования разработанной системы. Были изучены предметная область геопространственных данных, понятия интеграции и ETL, а так же концепция инструмента интеграции Apache NiFi. Областью применения результатов работы является автоматизация процесса сбора, обработки анализа данных. Результатом работы является качественно реализованная система, которая была протестирована и внедрена в ААНИИ. Внедрение показало практическую значимость работы: система продемонстрировала высокую эффективность в ускорении процесса сбора и обработки данных, существенно сократила время обработки данных благодаря автоматизации рутинных операций.

The object of the study is the field of data integration. The subject of the study is a distributed system for collecting, processing and analyzing geospatial data. The purpose of this work is to create a distributed system capable of efficiently collecting, processing and analyzing geospatial data using advanced data integration technologies. Tasks that were solved during the course of the work: – Set the requirements for the system being created and perform a review of the subject area. – Select the data integration tool to implement the system. – Implement a distributed system for collecting, processing and analyzing geospatial data using the selected tool. – Conduct testing and approbation of the implemented system. – Methods of comparative analysis of various data integration tools, as well as field research of the developed system were used. The subject area of geospatial data, the concepts of integration and ETL, as well as the concept of the Apache NiFi integration tool were studied. The scope of application of the results of the work is the automation of the process of data collection, processing and analysis. The result of the work is a qualitatively implemented system that has been tested and implemented in AARI. The implementation showed the practical significance of the work: the system demonstrated high efficiency in accelerating the process of data collection and processing, significantly reduced data processing time due to automation of routine operations.

• Создание распределенной системы сбора, обработки и анализа геопространственных данных с использованием технологий интеграции данных
  • Введение
  • 1. Исследование предметной области
  • 2. Технологии интеграции данных
  • 3. Проектирование и реализация системы
  • 4. Тестирование реализованной системы
  • 5. Апробация
  • Заключение
  • Список сокращений и условных обозначений
  • Словарь терминов
  • Список использованных источников
  • Приложение 1. Настройки процессоров NiFi
  • Приложение 2. python-скрипты, запускаемые в NiFi
  • Приложение 3. Тестирование отдельных функциональных блоков
  • Приложение 4. python-скрипт для поиска региона
  • Приложение 5. Результаты работы команд библиотеки GDAL
  • Приложение 6. Акт о внедрении