Details

Данная работа посвящена разработке автоматизированной информационной системы обработки внешних данных Банка России и Московской биржи. Реализованная система проверяет внешние источники на наличие изменений, загружает изменившиеся данные в хранилище, формирует ядро DWH на основе Data Vault и пересчитывает зависимые аналитические витрины. В первой главе представлено исследование предметной области: рассмотрены подходы к построению хранилищ данных, организации витрин, моделированию данных, загрузке, оркестрации и журналированию. Во второй главе описано проектирование системы: постановка задачи, требования, источники данных, многоуровневая архитектура и служебные метаданные. В третьей главе приведена программная реализация системы, включая подготовку внешних данных, SQL-объекты хранилища, универсальные функции загрузки и DAG-и Apache Airflow. В четвертой главе выполнен анализ работы системы, включая проверку определения изменений, формирования ядра и витрин, преимуществ metadata-driven подхода и журналов выполнения.

This thesis is devoted to the development of an automated information system for processing external data from the Bank of Russia and Moscow Exchange. The implemented system checks external sources for changes, loads changed data into the data warehouse, builds a Data Vault-based DWH core, and recalculates dependent analytical data marts. The first chapter presents the domain analysis: approaches to data warehouse design, data mart organization, data modeling, data loading, orchestration, and logging are considered. The second chapter describes system design: problem statement, requirements, data sources, multilayer architecture, and service metadata. The third chapter presents the software implementation, including external data preparation, SQL objects of the data warehouse, universal loading functions, and Apache Airflow DAGs. The fourth chapter analyzes the system operation, including change detection, DWH core and data mart formation, advantages of the metadata-driven approach, and execution logs.