Details

Современные веб-сервисы подвержены различным видам сетевых угроз и сбоев, которые приводят к серьезным последствиям для бизнеса. Существующие системы мониторинга реагируют на инциденты постфактум и требуют сложной настройки. В связи с этим актуальной является задача создания системы, способной заблаговременно выявлять потенциальные проблемы и автоматически развёртываться в инфраструктуре без глубоких технических знаний администратора. Данная работа посвящена созданию программной системы для автоматического анализа трафика веб-сервисов с целью раннего обнаружения сетевых аномалий. Задачи, которые решались в ходе разработки: 1. Анализ существующих решений мониторинга и архитектурных подходов к построению программных систем; 2. Проектирование архитектуры системы с использованием инфраструктурной среды Kubernetes; 3. Разработка микросервиса для обогащения логов с механизмом кэширования; 4. Создание модели машинного обучения для классификации аномалий; 5. Разработка микросервиса для анализа логов на предмет аномалий; 6. Реализация системы оповещений через бота в мессенджере Telegram; 7. Настройка автоматического развёртывания с использованием шаблонов и описанием точной последовательности действий; 8. Оценка работы системы в условиях реальной нагрузки.

Modern web services are vulnerable to various types of network threats and failures that lead to serious consequences for business. Existing monitoring systems react to incidents after the face and require complex configuration. In this regard, the urgent task is to create a system capable of proactively identifying potential problems and authomatically deploying in infrastructure without deep technical knowledge of the administrator. The given work is devoted to creating a software system for automatic analysis of web service traffic for early detection of network anomalies. The development set the following goals: 1. Analysis of existing monitoring solutions and architectural approaches to building software systems; 2. Designing system architecture using Kubernetes infrastructure environment; 3. Development of a microservice for log enrichment with caching mechanism; 4. Creation of a machine learning model for anomaly classification; 5. Development of a microservice for log analysis for anomalies; 6. Implementation of a notification system via Telegram messenger bot; 7. Configuration of automatic deployment using templates and description of exact sequence of actions; 8. Evaluation of system perfomance under real load conditions.