Таблица | Карточка | RUSMARC | |
Разрешенные действия: –
Действие 'Прочитать' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети
Действие 'Загрузить' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети
Группа: Анонимные пользователи Сеть: Интернет |
Аннотация
Магистерская дипломная работа посвящена поиску подхода повышения производительности систем по аналитической обработки данных путем улучшения механизмов взаимодействия с СХД Pravega. Проведен обзор существующих способов организации межсервисного взаимодействия с данной системой хранения и передачи данных, на основе которого были выявлены существующие недостатки реализации в используемых подходах. Так же был проведен обзор технологии разработки программного обеспечения Apache Arrow. В рамках данной работы на основе полученных результатов был предложен подход организации процессов передачи данных между микросервисами и СХД Pravega, а также введен новый формат данных, с целью повышения производительности аналитической обработки данных. Предложенный механизм был реализован в виде конечной системы и протестирован на теоретически разработанных данных. Далее на основе полученных результатов была проведена оценка эффективности работы данной системы.В итоге данной работы получена корректно работающая система, организующая межсервисное взаимодействие, основанной на вызове удаленных процедур, с использованием потока данных в Pravega и внедренным форматом данных,что позволило повысить производительность взаимодействия микросервисов с вышеупомянутой СХД.
The master's thesis is devoted to finding an approach to improve the performanceof systems for analytical data processing by improving the mechanisms of interactionwith the Pravega storage system. A review of the existing ways of organizinginterservice communication with this data storage was conducted, based on which theexisting implementation problems in the using approaches were identified. A reviewof Apache Arrow software development technology was also conducted.As part of this work, based on obtained results, an approach for organizing datatransfer processes between Pravega and microservices was proposed. The new dataformat was introduced to increase the performance of analytical data processing. Theproposed mechanism was implemented as a final system and evaluated on theoreticallydeveloped data. Further, based on the obtained results, an assessment of the efficiencyof this system was evaluated. As a result of this work, a correctly working system that organizes interserviceinteraction based on remote procedure calls was obtained, using a data flow in Pravegaand an embedded data format, which made it possible to increase the performance ofmicroservices interaction with the storage system.
Права на использование объекта хранения
Место доступа | Группа пользователей | Действие | ||||
---|---|---|---|---|---|---|
Локальная сеть ИБК СПбПУ | Все | |||||
Интернет | Авторизованные пользователи СПбПУ | |||||
Интернет | Анонимные пользователи |
Статистика использования
Количество обращений: 21
За последние 30 дней: 4 Подробная статистика |