Details

Title: Повышение производительности взаимодействия микросервисов с СХД Pravega для аналитической обработки данных: выпускная квалификационная работа магистра: направление 09.04.04 «Программная инженерия» ; образовательная программа 09.04.04_02 «Основы анализа и разработки приложений с большими объемами распределенных данных»
Creators: Максимчук Валентин Алексеевич
Scientific adviser: Никифоров Игорь Валерьевич
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2022
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: Базы данных; Вычислительные машины электронные — Программы; системы хранения данных; микросервисная архитектура; распределенные системы; data storages; microservice architecture; distributed systems
UDC: 004.6; 004.422.8
Document type: Master graduation qualification work
File type: PDF
Language: Russian
Level of education: Master
Speciality code (FGOS): 09.04.04
Speciality group (FGOS): 090000 - Информатика и вычислительная техника
DOI: 10.18720/SPBPU/3/2023/vr/vr23-426
Rights: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Record key: ru\spstu\vkr\20695

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Магистерская дипломная работа посвящена поиску подхода повышения производительности систем по аналитической обработки данных путем улучшения механизмов взаимодействия с СХД Pravega. Проведен обзор существующих способов организации межсервисного взаимодействия с данной системой хранения и передачи данных, на основе которого были выявлены существующие недостатки реализации в используемых подходах. Так же был проведен обзор технологии разработки программного обеспечения Apache Arrow. В рамках данной работы на основе полученных результатов был предложен подход организации процессов передачи данных между микросервисами и СХД Pravega, а также введен новый формат данных, с целью повышения производительности аналитической обработки данных. Предложенный механизм был реализован в виде конечной системы и протестирован на теоретически разработанных данных. Далее на основе полученных результатов была проведена оценка эффективности работы данной системы.В итоге данной работы получена корректно работающая система, организующая межсервисное взаимодействие, основанной на вызове удаленных процедур, с использованием потока данных в Pravega и внедренным форматом данных,что позволило повысить производительность взаимодействия микросервисов с вышеупомянутой СХД.

The master's thesis is devoted to finding an approach to improve the performanceof systems for analytical data processing by improving the mechanisms of interactionwith the Pravega storage system. A review of the existing ways of organizinginterservice communication with this data storage was conducted, based on which theexisting implementation problems in the using approaches were identified. A reviewof Apache Arrow software development technology was also conducted.As part of this work, based on obtained results, an approach for organizing datatransfer processes between Pravega and microservices was proposed. The new dataformat was introduced to increase the performance of analytical data processing. Theproposed mechanism was implemented as a final system and evaluated on theoreticallydeveloped data. Further, based on the obtained results, an assessment of the efficiencyof this system was evaluated. As a result of this work, a correctly working system that organizes interserviceinteraction based on remote procedure calls was obtained, using a data flow in Pravegaand an embedded data format, which made it possible to increase the performance ofmicroservices interaction with the storage system.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
Internet Authorized users SPbPU Read Print Download
-> Internet Anonymous

Usage statistics

stat Access count: 21
Last 30 days: 0
Detailed usage statistics