Details

Title Алгоритм обновления, индексации и парсинга данных в инженерном портале компании: выпускная квалификационная работа магистра: направление 09.04.04 «Программная инженерия» ; образовательная программа 09.04.04_02 «Основы анализа и разработки приложений с большими объемами распределенных данных» = Algorithm for Updating, Indexing, and Parsing Data in a Companys Engineering Portal
Creators Ромашов Всеволод Александрович
Scientific adviser Никифоров Игорь Валерьевич
Organization Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и кибербезопасности
Imprint Санкт-Петербург, 2026
Collection Выпускные квалификационные работы ; Общая коллекция
Subjects база знаний ; управление данными ; обновление конфигураций ; инженерный портал ; система контроля версий ; knowledge base ; data management ; configuration updating ; engineering portal ; version control system
Document type Master graduation qualification work
Language Russian
Level of education Master
Speciality code (FGOS) 09.04.04
Speciality group (FGOS) 090000 - Информатика и вычислительная техника
DOI 10.18720/SPBPU/3/2026/vr/vr26-4900
Rights Доступ по паролю из сети Интернет (чтение)
Additionally New arrival
Record key ru\spstu\vkr\45073
Record create date 9/4/2026

Allowed Actions

Action 'Read' will be available if administrator prepare required files

Group Anonymous
Network Internet

Выпускная квалификационная работа посвящена решению проблемы значительной задержки между моментом изменения конфигурации сущностей и отображением этих данных в инженерном портале, что приводит к информационной стагнации, снижению темпов проектных итераций и когнитивной перегрузке инженеров. В работе представлен анализ существующих основных алгоритмов обновления данных в базах знаний. На основе полученных результатов сравнительного анализа предложен и реализован высокопроизводительный алгоритм обновления, индексации и парсинга конфигураций, отличительной особенностью которого является использование системы контроля версий Git для отказоустойчивого хранения данных. Разработанное решение реализовано в виде набора встраиваемых микросервисов с использованием контейнеризации и оркестрации, что обеспечивает горизонтальное масштабирование и отказоустойчивость. Ключевые особенности алгоритма включают двухфазную обработку конфигурации, конвейерную генерацию задач с распределением по обработчикам, разделение изменений на приоритетные и фоновые, а также асинхронное обновление данных пользовательского интерфейса. Проведённые экспериментальные исследования подтвердили эффективность предложенного метода: время отклика системы сокращено с часов до секунд, ускорение по сравнению с существующим подходом составляет от 45 до 2000 раз. Программное решение покрыто бизнес тестами. Цель работы (уменьшение задержки между изменением и предоставлением данных о конфигурациях) достигнута, что подтверждает применимость разработанного алгоритма в инженерном портале компании.

This final thesis addresses the significant delay between entity configuration changes and the display of this data in the engineering portal, which leads to information stagnation, a decrease in the pace of project iterations, and cognitive overload for engineers. This paper presents an analysis of existing key algorithms for updating data in knowledge bases. Based on the results of the comparative analysis, a high-performance algorithm for updating, indexing, and parsing configurations is proposed and implemented. Its distinguishing feature is the use of the Git version control system for fault-tolerant data storage. The developed solution is implemented as a set of embedded microservices using containerization and orchestration, ensuring horizontal scalability and fault tolerance. Key features of the algorithm include two-phase configuration processing, pipelined task generation with distribution across handlers, separation of changes into priority and background, and asynchronous updating of user interface data. Experimental studies have confirmed the effectiveness of the proposed method: system response time has been reduced from hours to seconds, with a speedup of 45 to 2000 times compared to the existing approach. The software solution has been tested. The goal of the study (reducing the delay between changes and provision of configuration data) has been achieved, confirming the applicability of the developed algorithm in the companys engineering portal.

Network User group Action
ILC SPbPU Local Network All
Internet Authorized users SPbPU
Internet Anonymous
...