Details

Title: Full-cycle integration and delivery system developent for an intelligent system: выпускная квалификационная работа магистра: направление 09.04.01 «Информатика и вычислительная техника» ; образовательная программа 09.04.01_17 «Интеллектуальные системы (международная образовательная программа) / Intelligent Systems (International Educational Program)»
Creators: Крамаров Евгений Викторович
Scientific adviser: Потехин Вячеслав Витальевич
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2023
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: devops; mlops; непрерывная интеграция; непрерывная поставка; автоматизация; упаковка моделей; continuous integration; continuous delivery; automatization; model packaging
Document type: Master graduation qualification work
File type: PDF
Language: Russian
Level of education: Master
Speciality code (FGOS): 09.04.01
Speciality group (FGOS): 090000 - Информатика и вычислительная техника
DOI: 10.18720/SPBPU/3/2023/vr/vr24-547
Rights: Доступ по паролю из сети Интернет (чтение)
Additionally: New arrival
Record key: ru\spstu\vkr\27430

Allowed Actions:

Action 'Read' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Основной целью данной статьи под названием «Разработка системы полного цикла интеграции и доставки интеллектуальной системы» была разработка системы полного цикла непрерывной интеграции и непрерывной доставки моделей машинного обучения для периферийных устройств. Этого можно добиться за счет создания конвейера обработки данных и кода, построенного с учетом основных принципов методологий DevOps и MLOps. Для построения такой системы необходимы следующие компоненты: • Хранение кода; • Хранилище данных; • Система запуска и времени выполнения этапов конвейера; • Система хранения и воспроизведения результатов экспериментов; • Система обновления конфигурации целевого периферийного устройства. В ходе данной работы все вышеперечисленные системы создания автономных трубопроводов были настроены и настроены для работы в единой среде разрабатываемой системы. Полученный конвейер позволяет полностью автоматизировать интеграцию и доставку модели машинного обучения для периферийного устройства. Полученная система будет ценна для небольших компаний, которые создают продукты с использованием машинного обучения на основе платформ периферийных устройств и изо всех сил пытаются позволить себе облачные ресурсы для своих целей. Крупные компании, которые работают с частными или конфиденциальными данными, раскрытие которых может вызвать репутационные или юридические проблемы, также могут получить выгоду от частичного или полного использования разработанной системы. Полученная система была протестирована на конкретном испытательном стенде и хорошо зарекомендовала себя в реальном сценарии обновления модели.

The main purpose of this paper, called “Full-cycle integration and delivery system development for an intelligent system” was the development of a full cycle system for continuous integration and continuous delivery for machine learning models for edge devices. This can be achieved through creation of a pipeline of data and code processing, built with consideration of main principles of DevOps and MLOps methodologies. To build such a system the following components are required: • Code storage; • Data storage; • System for triggering and runtime for pipeline steps; • Storage and reproduction system for experiments results; • System for updating the configuration of the target edge device. During this work, all the forementioned systems for autonomous pipeline creation have been set up and configured to work in the single environment of the developed system. Resulting pipeline allows to completely automate integration and delivery of a machine learning model for an edge device. The resulting system is valuable for smaller companies that create products using machine learning, based on edge devices platforms, and are struggling to afford cloud resources for their purposes. Big companies that are working with private or sensitive data, that may cause reputational or legal problems once exposed, may also benefit from using the developed system partially or completely. The resulting system has been tested on a specific testbench and performed well in a real-life scenario of a model update.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read
Internet Authorized users SPbPU Read
-> Internet Anonymous

Usage statistics

stat Access count: 1
Last 30 days: 1
Detailed usage statistics