Детальная информация

Представленная работа посвящена разработке и внедрению программной системы для анализа данных о продаже товаров с использованием ELK-стека (Elasticsearch, Logstash, Kibana). В рамках работы решались следующие задачи: 1. Создание и настройка компонентов системы: 1. Реализация загрузки конфигурации и чтения переменных окружения. 2. Настройка Kafka для создания и управления топиками. 3. Создание фильтров для обработки данных в Logstash. 4. Обработка различных сценариев, включая негативные, для корректной работы системы. 2. Реализация модуля предобработки данных: 1. Распознавание и заполнение недостающих данных из описаний объявлений. 2. Обработка случаев с отсутствующими или некорректными параметрами. 3. Обработка пустых и невалидных записей. 3. Разработка модуля анализа данных: 1. Обработка корректных запросов на анализ и взаимодействие с Elasticsearch и Spark. 2. Управление ошибочными запросами и отправка соответствующих кодов ошибок. 3. Загрузка обработанных данных обратно в Elasticsearch для дальнейшего использования. Таким образом, была создана и внедрена работоспособная BI-система, предоставляющая мощные инструменты для сбора, предобработки, анализа и визуализации данных о продаже товаров. Система позволяет организациям более эффективно анализировать рыночные данные, выявлять тенденции и принимать обоснованные управленческие решения, что является важным условием для успешного функционирования и развития в условиях современной цифровой экономики.

This work is dedicated to the development and implementation of a software system for analyzing sales data using the ELK stack (Elasticsearch, Logstash, Kibana). The following tasks were addressed within the scope of this work: 1. Creation and configuration of system components: 1. Implementation of configuration loading and reading of environment variables. 2. Setup of Kafka for creating and managing topics. 3. Creation of filters for data processing in Logstash. 4. Handling various scenarios, including negative ones, for the correct operation of the system. 2. Implementation of the data preprocessing module: 1. Recognition and filling of missing data from advertisement descriptions. 2. Handling cases with missing or incorrect parameters. 3. Processing of empty and invalid records. 3. Development of the data analysis module: 1. Processing of correct analysis requests and interaction with Elasticsearch and Spark. 2. Handling erroneous requests and sending appropriate error codes. 3. Uploading processed data back to Elasticsearch for further use. Thus, a functional BI system was created and implemented, providing powerful tools for collecting, preprocessing, analyzing, and visualizing sales data. The system enables organizations to more effectively analyze market data, identify trends, and make informed managerial decisions, which is a crucial condition for successful operation and development in the modern digital economy.