Детальная информация

Объектом исследования являются SQL-запросы, выполняемые в распределённой СУБД Greenplum. Предметом исследования являются методы анализа и улучшения кода SQL-запросов с учётом особенностей MPP-архитектуры Greenplum. Цель работы – разработка алгоритма анализа SQL-запросов и создание рекомендательной системы для улучшения кода SQL-запросов пользователей. В рамках выполнения данной работы были решены следующие задачи: 1.Проведён анализ архитектуры Greenplum и особенностей выполнения SQL-запросов в MPP-системах. 2.Определены и систематизированы правила оптимизации SQL-запросов, подходящие для Greenplum. 3.Сформулированы критерии оценки эффективности запросов на основе количественных показателей выполнения. 4.Разработан алгоритм анализа SQL-запросов с выдачей рекомендаций. 5.Сформированы функциональные требования к рекомендательной системе. 6.Развёрнута локальная СУБД Greenplum с использованием Docker и описана её структура. 7.Реализована рекомендательная система на языке Python с графическим интерфейсом. 8.Проведено тестирование эффективности рекомендаций на тестовой базе данных. 9.Проведено сравнение разработанной системы с существующими аналогами. Результатом работы является рекомендательная система, способная автоматически анализировать SQL-запрос пользователя, выявлять нарушения правил написания эффективных запросов в Greenplum и формировать понятные рекомендации по их исправлению с учётом особенностей MPP-архитектуры.

The object of the study is SQL queries executed in the distributed database Greenplum. The subject of the research is methods for analyzing and improving the SQL query code, taking into account the features of the Greenplum MPP architecture. The purpose of the work is to develop an algorithm for analyzing SQL queries and create a recommendation system for improving the code of SQL queries for users. As part of this work, the following tasks were solved: 1. The analysis of the Greenplum architecture and the features of executing SQL queries in MPP systems is carried out. 2. SQL query optimization rules suitable for Greenplum are defined and systematized. 3. Criteria for evaluating query effectiveness based on quantitative performance indicators are formulated.result of the work is a recommendation system that can automatically analyze a users SQL query, identify violations of the rules for writing efficient queries in Greenplum, and provide clear recommendations for correcting them, taking into account the specifics of the MPP architecture.systems is carried out. 2. SQL query optimization rules suitable for Greenplum are defined and systematized. 3. Criteria for evaluating query effectiveness based on quantitative performance indicators are formulated. 4. An algorithm for analyzing SQL queries with recommendations has been developed. 5. Functional requirements for the recommendation system have been formed. 6. A local Greenplum DBMS has been deployed using Docker, and its structure has been described. 7. A recommendation system has been implemented in Python with a graphical interface. 8. The effectiveness of the recommendations has been tested on a test database. 9. The developed system has been compared with existing alternatives. The result of the work is a recommendation system that can automatically analyze a users SQL query, identify violations of the rules for writing efficient queries in Greenplum, and provide clear recommendations for correcting them, taking into account the specifics of the MPP architecture.

• ВВЕДЕНИЕ
• ГЛАВА 1 ПОСТАНОВКА ЗАДАЧИ И ОБЗОР ЛИТЕРАТУРЫ
  • 1.1 Обзор предметной области и постановка задачи
  • 1.2 Физическое хранение данных
  • 1.3 Реляционная модель и реляционные базы данных
  • 1.4 Язык структурированных запросов и его базовые операции
  • 1.5 План выполнения запроса в SQL и встроенный в СУБД оптимизатор
  • 1.6 Архитектура Greenplum: MPP, дистрибуция и партиционирование данных
  • 1.7 OLAP и OLTP системы
  • 1.8 Основные операторы плана SQL-запроса в Greenplum
  • 1.9 Способы получения плана SQL-запроса в Greenplum
  • 1.10 Анализ существующих подходов и инструментов для оптимизации запросов
• ГЛАВА 2 РАЗРАБОТКА АЛГОРИТМА АНАЛИЗА SQL-ЗАПРОСОВ ДЛЯ РЕКОМЕНДАТЕЛЬНОЙ СИСТЕМЫ
  • 2.1 Анализ типовых проблем производительности в Greenplum
  • 2.5 Алгоритм анализа SQL-запроса с выдачей рекомендаций
• ГЛАВА 3 СОЗДАНИЕ РЕКОМЕНДАТЕЛЬНОЙ СИСТЕМЫ
• ГЛАВА 4 АНАЛИЗ ЭФФЕКТИВНОСТИ РАЗРАБОТАННОЙ РЕКОМЕНДАТЕЛЬНОЙ СИСТЕМЫ
  • 4.1 Подготовка таблиц для тестирования
  • 4.2 Тестирование эффективности правил улучшения запросов
  • 4.3 Анализ результатов
  • 4.4 Выводы по главе 4
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
• ПРИЛОЖЕНИЕ А КОД РЕКОМЕНДАТЕЛЬНОЙ СИСТЕМЫ
• ПРИЛОЖЕНИЕ Б КОД СОЗДАНИЯ И НАПОЛНЕНИЯ ТАБЛИЦ ДЛЯ ТЕСТИРОВАНИЯ РАБОТЫ РЕКОМЕНДАТЕЛЬНОЙ СИСТЕМЫ