Детальная информация

Название: Повышение производительности взаимодействия микросервисов с СХД Pravega для аналитической обработки данных: выпускная квалификационная работа магистра: направление 09.04.04 «Программная инженерия» ; образовательная программа 09.04.04_02 «Основы анализа и разработки приложений с большими объемами распределенных данных»
Авторы: Максимчук Валентин Алексеевич
Научный руководитель: Никифоров Игорь Валерьевич
Организация: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Выходные сведения: Санкт-Петербург, 2022
Коллекция: Выпускные квалификационные работы; Общая коллекция
Тематика: Базы данных; Вычислительные машины электронные — Программы; системы хранения данных; микросервисная архитектура; распределенные системы; data storages; microservice architecture; distributed systems
УДК: 004.6; 004.422.8
Тип документа: Выпускная квалификационная работа магистра
Тип файла: PDF
Язык: Русский
Уровень высшего образования: Магистратура
Код специальности ФГОС: 09.04.04
Группа специальностей ФГОС: 090000 - Информатика и вычислительная техника
DOI: 10.18720/SPBPU/3/2023/vr/vr23-426
Права доступа: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Ключ записи: ru\spstu\vkr\20695

Разрешенные действия:

Действие 'Прочитать' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети Действие 'Загрузить' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети

Группа: Анонимные пользователи

Сеть: Интернет

Аннотация

Магистерская дипломная работа посвящена поиску подхода повышения производительности систем по аналитической обработки данных путем улучшения механизмов взаимодействия с СХД Pravega. Проведен обзор существующих способов организации межсервисного взаимодействия с данной системой хранения и передачи данных, на основе которого были выявлены существующие недостатки реализации в используемых подходах. Так же был проведен обзор технологии разработки программного обеспечения Apache Arrow. В рамках данной работы на основе полученных результатов был предложен подход организации процессов передачи данных между микросервисами и СХД Pravega, а также введен новый формат данных, с целью повышения производительности аналитической обработки данных. Предложенный механизм был реализован в виде конечной системы и протестирован на теоретически разработанных данных. Далее на основе полученных результатов была проведена оценка эффективности работы данной системы.В итоге данной работы получена корректно работающая система, организующая межсервисное взаимодействие, основанной на вызове удаленных процедур, с использованием потока данных в Pravega и внедренным форматом данных,что позволило повысить производительность взаимодействия микросервисов с вышеупомянутой СХД.

The master's thesis is devoted to finding an approach to improve the performanceof systems for analytical data processing by improving the mechanisms of interactionwith the Pravega storage system. A review of the existing ways of organizinginterservice communication with this data storage was conducted, based on which theexisting implementation problems in the using approaches were identified. A reviewof Apache Arrow software development technology was also conducted.As part of this work, based on obtained results, an approach for organizing datatransfer processes between Pravega and microservices was proposed. The new dataformat was introduced to increase the performance of analytical data processing. Theproposed mechanism was implemented as a final system and evaluated on theoreticallydeveloped data. Further, based on the obtained results, an assessment of the efficiencyof this system was evaluated. As a result of this work, a correctly working system that organizes interserviceinteraction based on remote procedure calls was obtained, using a data flow in Pravegaand an embedded data format, which made it possible to increase the performance ofmicroservices interaction with the storage system.

Права на использование объекта хранения

Место доступа Группа пользователей Действие
Локальная сеть ИБК СПбПУ Все Прочитать Печать Загрузить
Интернет Авторизованные пользователи СПбПУ Прочитать Печать Загрузить
-> Интернет Анонимные пользователи

Статистика использования

stat Количество обращений: 21
За последние 30 дней: 4
Подробная статистика