Details

Выпускная квалификационная работа посвящена повышению эффективности хранения и аналитической обработки телеметрических данных в распределённой микросервисной системе. Исследовалась проблема роста исторического массива событий, координат и статусов устройств, при котором строковая реляционная СУБД MySQL перестаёт обеспечивать интерактивное выполнение аналитических запросов: в рассматриваемой системе отдельные запросы выполнялись от десятков секунд до нескольких часов. Для устранения выявленных ограничений предложен метод поэтапной миграции исторического и аналитического контура из MySQL в ClickHouse без остановки основного сервиса. Метод включает загрузку исторических данных, параллельную запись, дозагрузку промежуточного диапазона, контроль целостности и управляемое переключение чтения. Программная реализация выполнена на TypeScript. Для работы с MySQL использовался Sequelize, а для ClickHouse был разработан собственный слой доступа, включающий репозитории и механизмы преобразования данных. Экспериментальная оценка выполнена на боевой выборке таблицы событий объёмом 2 856 495 843 строки. Объём хранения сократился с 244,9 GB в MySQL до 41,5 GB в ClickHouse. Фактическое окно вставки данных составило 1 час 10 минут 56 секунд. Выборка по устройству в разреженном диапазоне ускорилась с 54,17 с до 0,08 с, а сложный аналитический запрос – с 27598,71 с до 0,72 с. Полученные результаты подтверждают эффективность предложенного метода миграции без остановки боевого-сервиса.

The graduate qualification work is devoted to improving the efficiency of storage and analytical processing of telemetry data in a distributed microservice system. The study addresses the problem of growing historical datasets of events, coordinates and device statuses, where the row-oriented relational DBMS MySQL no longer provides interactive execution of analytical queries: in the considered system, some queries took from tens of seconds to several hours. To eliminate the identified limitations, a phased method for migrating the historical and analytical layer from MySQL to ClickHouse without stopping the main service is proposed. The method includes loading historical data, parallel writes, loading the intermediate data range, data consistency control and controlled switching of read operations. The software implementation was developed in TypeScript. Sequelize was used to work with MySQL, while a custom access layer was developed for ClickHouse, including repositories and data transformation mechanisms. The experimental evaluation was performed on a production dataset of the events table containing 2,856,495,843 rows. The storage size was reduced from 244.9 GB in MySQL to 41.5 GB in ClickHouse. The actual data insertion window was 1 hour 10 minutes 56 seconds. A sparse-range device query was accelerated from 54.17 seconds to 0.08 seconds, while a complex analytical query was reduced from 27,598.71 seconds to 0.72 seconds. The obtained results confirm the effectiveness of the proposed migration method without stopping the production service.