Details

Цель работы: создание и исследование системы мониторинга и выявления аномалий, обеспечивающей сбор и анализ логов и метрик в распределённом приложении, а также автоматизацию оповещений о нетипичном поведении. Перечень задач: 1. Анализ предметной области и существующих решений для мониторинга и обнаружения аномалий. 2. Построение архитектуры системы с использованием контейнерных технологий. 3. Реализация конвейера сбора логов с помощью Fluent Bit и сохранения их в Grafana Loki. 4. Настройка визуализации метрик и логов в Grafana. 5. Разработка алгоритмов обнаружения аномалий на основе анализа метрик и логов с помощью Python. 6. Тестирование системы и оценка эффективности выявления аномалий. Используемые технологии: контейнеризация (Docker, Kubernetes)selectel.ru, сбор и обработка логов (Fluent Bit), хранение логов (Grafana Loki), визуализация данных (Grafana)en.wikipedia.org, объектное хранилище (MinIO), анализ данных и алгоритмы обнаружения аномалий на Python. Результат выполнения: разработана распределённая система мониторинга, обеспечивающая централизованный сбор и хранение логов и метрик, а также автоматизированное обнаружение аномалий. Система интегрирована в контейнерную инфраструктуру, демонстрирует возможность визуализации данных и эффективно идентифицирует ненормальные состояния приложения, что подтверждает достижение поставленных целей.

Purpose: to develop and study a monitoring and anomaly detection system that collects and analyzes logs and metrics in a distributed application, providing automated alerts for anomalous behavior. Tasks: 1. Analyze the domain and existing solutions for monitoring and anomaly detection. 2. Design the system architecture using container technologies. 3. Implement a log collection pipeline with Fluent Bit and storage in Grafana Loki. 4. Configure data visualization in Grafana dashboards. 5. Develop algorithms for anomaly detection based on log and metric analysis using Python. 6. Test the system and evaluate its anomaly detection effectiveness. Technologies used: containerization (Docker, Kubernetes), log and metric collection (Fluent Bit), log storage (Grafana Loki), data visualization (Grafana), object storage (MinIO), data analysis and anomaly detection algorithms implemented in Python. Result: a distributed monitoring system was developed, enabling centralized collection and storage of logs and metrics, as well as automated anomaly detection. The system is integrated into a container infrastructure, provides data visualization capabilities, and effectively identifies abnormal application states, confirming that the project goals have been achieved.