Детальная информация

Данная выпускная квалификационная работа описывает подход к повышению эффективности системы аналитики данных с помощью использования инструмента потоковой обработки данных Pravega и системы оркестровки контейнеров Kubernetes. В работе проведен обзор преимуществ контейнерной архитектуры, возможностей оркестратора Kubernetes и сравнительный анализ систем хранения данных, способных к потоковой обработке данных. В ходе работы на основе сервис-ориентированной архитектуры был спроектирован высокоуровневый дизайн такой системы на модульном уровне и на уровне ресурсов, предоставляемых оркестратором Kubernetes. Все компоненты системы были реализованы согласно стандартам и лучшим практикам программирования. Система была развернута в кластере Kubernetes и протестирована на открытых данных пользователей популярной социальной сети.

The thesis is devoted to increasing performance of the data analysis system using Kubernetes orchestration tool and Pravega data processing tool. It contains a review of the advantages and disadvantages of container architecture, features of Kubernetes, comparative analysis of data stream processing tools and principles of their operation. In the work, the high-level design of the system was developed based on service-oriented architecture and related to resources included in Kubernetes. All components were realized as a software application with standards and best practices of programming. The system was deployed to Kubernetes cluster and tested on open data collected from a popular social network.