Детальная информация

Данная работа посвящена разработке способа ускорения выполнения запросов кластеризующей агрегации в СУБД ClickHouse. Задачи, которые решались в ходе исследования: 1. Проанализировать существующие способы выполнения запросов кластеризующей агрегации. 2. Предложить способ повышения скорости запросов. 3. Реализовать предложенный способ в ClickHouse. 4. Провести тестирование и сравнить результаты с существующими решениями. В работе приведён обзор существующих подходов к выполнению запросов кластеризующей агрегации. На основе анализа был предложен новый способ выполнения запросов, основанный на введении новой конструкции WITH CLUSTER. В рамках реализации были внесены изменения на всех уровнях плана выполнения запросов. Запрос имеет параллельную обработку, что позволяет использовать все возможные вычислительные мощности. Результаты тестирования подтвердили корректность работы реализованной конструкции и показали повышение производительности по сравнению с существующими способами выполнения запросов кластеризующей агрегации. Разработанное решение может быть использовано для ускорения аналитических запросов в системах обработки больших данных на основе ClickHouse.

This work is devoted to the development of a method for accelerating clustering aggregation queries in the ClickHouse DBMS. The tasks addressed during the research were: 1. To analyze existing methods for executing clustering aggregation queries. 2. To propose a method for improving query performance. 3. To implement the proposed method in ClickHouse. 4. To conduct testing and compare the results with existing solutions. The paper provides an overview of existing approaches to clustering aggregation queries. Based on the analysis, a new query execution method was proposed, based on the introduction of the new WITH CLUSTER construct. As part of the implementation, changes were introduced at all levels of the query execution. The query execution supports parallel processing, which allows utilizing all available computational resources. The testing results confirmed the correctness of the implemented construct and demonstrated improved performance compared to existing methods for executing clustering aggregation queries. The developed solution can be used to accelerate analytical queries in big data processing on ClickHouse.