Details

Работа посвящена разработке системы мониторинга и прогнозирования производительности распределенной PostgreSQL инфраструктуры. Предметом исследования являются методы и программные средства сбора, хранения и аналитической обработки эксплуатационных метрик, прогнозирования временных рядов и оценки риска деградации инфраструктуры. Цель работы заключается в разработке программного прототипа системы предиктивного мониторинга, обеспечивающего наблюдение за состоянием PostgreSQL, Patroni и Citus, накопление исторических данных, построение прогнозов и визуальное представление результатов. Методология работы включает анализ существующих средств мониторинга, проектирование архитектуры системы, формирование набора диагностических метрик, реализацию аналитического хранилища TimescaleDB и разработку сервиса прогнозирования на Python. Для построения прогнозов применяются линейная регрессия, ARIMA и Prophet, а для расчета интегральной оценки риска используется модель Random Forest. В результате разработан контейнерный стенд, объединяющий распределенную PostgreSQL инфраструктуру, Prometheus, TimescaleDB, Grafana, сервис прогнозирования и веб-интерфейс настройки. Проведены unit-тесты, интеграционные проверки, оценка качества прогнозов и сценарные испытания деградации. Разработанное решение может применяться как основа исследовательского или прикладного стенда мониторинга PostgreSQL-систем. Полученные результаты подтверждают возможность совмещения реактивного мониторинга с прогнозированием метрик и оценкой будущего состояния инфраструктуры.

The work is devoted to developing a system for monitoring and forecasting the performance of distributed PostgreSQL infrastructure. The subject of the study is methods and software tools for collecting, storing, and analytically processing operational metrics, forecasting time series, and assessing infrastructure degradation risks. The goal of the work is to develop a predictive monitoring software prototype that observes the state of PostgreSQL, Patroni, and Citus, accumulates historical data, produces forecasts, and visualizes the results. The methodology includes analysis of existing monitoring tools, system architecture design, selection of diagnostic metrics, implementation of a TimescaleDB analytical storage layer, and development of a Python forecasting service. Linear regression, ARIMA, and Prophet are used to produce forecasts, while a Random Forest model calculates the integral risk score. As a result, a containerized testbed combining distributed PostgreSQL infrastructure, Prometheus, TimescaleDB, Grafana, a forecasting service, and a configuration web interface was developed. Unit tests, integration checks, forecast quality assessment, and degradation scenario tests were performed. The developed solution can be used as a basis for a research or applied PostgreSQL monitoring testbed. The results confirm that reactive monitoring can be combined with metric forecasting and assessment of the future infrastructure state.

• Разработка системы мониторинга и прогнозирования производительности распределенной PostgreSQL инфраструктуры
  • Введение
  • 1. Обзор существующих решений и обоснование выбора инструментальных средств
  • 2. Проектирование системы предиктивного мониторинга распределенной PostgreSQL инфраструктуры
  • 3. Программная реализация системы предиктивного мониторинга
  • 4. Тестирование системы предиктивного мониторинга
  • Заключение
  • Список использованных источников
  • Приложение 1 Конфигурация Docker Compose
  • Приложение 2 Конфигурация Prometheus
  • Приложение 3 Правила оповещения Prometheus
  • Приложение 4 Пользовательские запросы экспортера PostgreSQL
  • Приложение 5 Основной модуль сервиса predictor
  • Приложение 6 Планировщик сервиса predictor
  • Приложение 7 Схема аналитического хранилища TimescaleDB
  • Приложение 8 Модуль формирования признаков сервиса predictor
  • Приложение 9 Модуль машинного обучения сервиса predictor
  • Приложение 10 Генератор стартового обучающего датасета
  • Приложение 11 Основные файлы веб-интерфейса настройки
  • Приложение 12 Сценарии автоматизированного тестирования