Details
| Title | Платформа данных для потоковой обработки и аналитической отчетности на базе Apache Flink: выпускная квалификационная работа бакалавра: направление 02.03.03 «Математическое обеспечение и администрирование информационных систем» ; образовательная программа 02.03.03_01 «Интеллектуальные информационные системы и обработка данных» = Data platform for stream processing and analytical reporting based on Apache Flink |
|---|---|
| Creators | Дюро Илья Николаевич |
| Scientific adviser | Вербова Наталья Михайловна |
| Organization | Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и кибербезопасности |
| Imprint | Санкт-Петербург, 2026 |
| Collection | Выпускные квалификационные работы ; Общая коллекция |
| Subjects | платформа данных ; потоковая обработка ; Apache Flink ; архитектура даных ; data platform ; streaming processing ; data architecture |
| Document type | Bachelor graduation qualification work |
| Language | Russian |
| Level of education | Bachelor |
| Speciality code (FGOS) | 02.03.03 |
| Speciality group (FGOS) | 020000 - Компьютерные и информационные науки |
| DOI | 10.18720/SPBPU/3/2026/vr/vr26-1611 |
| Rights | Доступ по паролю из сети Интернет (чтение) |
| Additionally | New arrival |
| Record key | ru\spstu\vkr\41160 |
| Record create date | 7/15/2026 |
Allowed Actions
–
Action 'Прочитать' will be available if you login or access site from another network
| Group | Anonymous |
|---|---|
| Network | Internet |
В данной работе представлен подход к разработке платформы обработки потоковых данных на базе Apache Flink. Проведен анализ существующих решений, определены требования к платформе. Разработано приложение имитирующее действие пользователей онлайн-магазина электроники и передача данных в Apache Kafka. Реализован процесс обработки данных с помощью Apache Flink и их дальнейшая загрузка в ClickHouse и MinIO. Настроен мониторинг системы с помощью Prometheus и Grafana, а также построен дашборд на полученных данных в Superset.
This paper presents an approach to developing a streaming data processing platform based on Apache Flink. It analyzes existing solutions and defines the requirements for the platform. An application is developed that simulates the actions of users in an online electronics store and transfers data to Apache Kafka. The data processing process is implemented using Apache Flink and further loaded into ClickHouse and MinIO. The system is monitored using Prometheus and Grafana, and a dashboard is created using the obtained data in Superset.
| Network | User group | Action |
|---|---|---|
| ILC SPbPU Local Network | All |
|
| Internet | Authorized users SPbPU |
|
| Internet | Anonymous |
|
