Детальная информация

В работе изложен подход к проектированию и программной реализации системы переноса аналитических витрин из массово-параллельного хранилища Greenplum в архитектуру Data Lakehouse на базе формата Apache Iceberg. Рассмотрены архитектурные особенности классического MPP-хранилища Greenplum и современных гибридных платформ; проанализированы методы интеграции реляционных СУБД с распределённым вычислительным движком Apache Spark; обоснован выбор архитектуры решения с использованием JDBC-коннектора и собственной MERGE-логики поверх Iceberg-таблиц. Спроектирована и программно реализована модульная система миграции данных. Ядром системы являются компоненты GreenplumConnector и MigrationPipeline. Проведено экспериментальное исследование разработанной системы на синтетических наборах. Подтверждена корректность алгоритма во всех сценариях обновлений, вставок и логических удалений. Получен коэффициент сокращения объёма обрабатываемых данных по сравнению с полной перезагрузкой, что подтверждает практическую применимость предложенного решения для регулярного обновления банковских аналитических витрин.

The work presents the approach to designing and implementing a system for migrating analytical data marts from the massively parallel Greenplum data warehouse to a Data Lakehouse architecture based on the Apache Iceberg format. The architectural features of the classical MPP warehouse and modern hybrid platforms are analysed; methods of integrating relational DBMS with the Apache Spark distributed computation engine are compared; the choice of a JDBC-based solution with custom MERGE logic over Iceberg tables is justified. A modular migration system is designed and implemented. Its core components are GreenplumConnector and MigrationPipeline. The system has been evaluated experimentally on synthetic datasets. Correctness of the algorithm is confirmed across all update, insert and soft-delete scenarios. Compared with a full-reload baseline, the incremental strategy reduces the volume of processed data, which confirms the practical applicability of the proposed solution for regular incremental updates of banking analytical data marts.