Details

Выпускная квалификационная работа посвящена анализу логов распределённых систем и разработке гибридной модели для обнаружения аномалий в логах HDFS. Цель исследования — создание устойчивой к дрейфу шаблонов системы, сочетающей преимущества supervised и последовательностных методов. Использованы сверточная нейросеть (CNN) и модель LogAnomaly на базе LSTM и Template2Vec. Агрегация предсказаний реализована через soft voting. Методология включает парсинг логов Drain, session-based группировку, векторизацию шаблонов с помощью TF-IDF и FastText, а также оценку по метрикам Precision, Recall, F1-score. Гибридная модель продемонстрировала прирост F1-score на 1.5 п.п. по сравнению с лучшей базовой моделью, четырёхкратное снижение дисперсии предсказаний и минимальное снижение точности при появлении новых шаблонов. Система обеспечивает инференс менее чем за 100 мс и не требует тонкой настройки параметров. Решение пригодно для интеграции в DevOps/AIOps пайплайны и автоматического мониторинга инцидентов в распределённых вычислительных кластерах. Полученные результаты подтверждают эффективность и промышленную применимость гибридного подхода.

The final qualification work is dedicated to the analysis of distributed system logs and the development of a hybrid model for anomaly detection in HDFS logs. The objective of the study is to create a template-drift-resistant system that combines the advantages of supervised and sequential methods. The approach employs a Convolutional Neural Network (CNN) and the LogAnomaly model based on LSTM and Template2Vec. Prediction aggregation is performed using soft voting. The methodology includes Drain log parsing, session-based grouping, template vectorization using TF-IDF and FastText, and evaluation via Precision, Recall, and F1-score metrics. The hybrid model achieved an F1-score improvement of approximately 1.5 percentage points over the best baseline model, a fourfold reduction in prediction variance, and minimal accuracy degradation with the introduction of new templates. The system provides inference in under 100 ms and requires no fine-tuning of parameters. The solution is suitable for integration into DevOps/AIOps pipelines and for automated incident monitoring in distributed computing clusters. The results confirm the effectiveness and industrial applicability of the hybrid approach.

• ОЦЕНКА ПРИМЕНИМОСТИ ГИБРИДНОГО ПОДХОДА К АНАЛИЗУ ЛОГОВ - СРАВНЕНИЕ SUPERVISED, SEMI-SUPERVISED И UNSUPERVISED МЕТОДОВ
  • Список сокращений и условных обозначений
  • Словарь терминов
  • Введение
  • 1. Обзор методов анализа логов распределённых систем
  • 2. Методы и методики исследования гибридного подхода к анализу логов
  • 3. Практическая реализация
  • 4. Статистический анализ экспериментальных данных
  • Заключение
  • Список использованных источников