Details

В данной работе представлен подход к созданию универсального рабочего места аналитика данных, предназначенного для обработки и визуального анализа лог-файлов. Проведён обзор современных форматов логов и методов их парсинга, выполнен сравнительный анализ существующих систем, позволивший выявить их ограничения при использовании российским малым бизнесом. Реализована модульная архитектура системы на языке Python с применением фреймворка Dash, библиотек plotly и pandas. В качестве системы хранения данных выбрана MongoDB. Разработаны и интегрированы модули парсинга файлов, фильтрации данных, визуализации, экспорта результатов в форматы CSV, PDF и JSON, а также обнаружения аномалий в записях. Проведены верификация на реальных данных, тестирование производительности и апробации с участием пользователей разного уровня подготовки. Полученные результаты подтверждают практическую применимость решения в условиях эксплуатации.

This paper presents an approach to creating a universal data analyst workstation designed for processing and visually analyzing log files. A review of modern log formats and parsing methods is provided, along with a comparative analysis of existing systems, revealing their limitations when used by Russian small and medium-sized businesses. A modular system architecture was implemented in Python using the Dash framework and the plotly and pandas libraries. MongoDB was selected as the data storage system. Modules for file parsing, data filtering, visualization, exporting results to CSV, PDF, and JSON formats, and anomaly detection were developed and integrated. Verification on real data, performance testing, and pilot testing with users of varying skill levels were conducted. The obtained results confirm the practical applicability of the solution under operating conditions.