Детальная информация
| Название | Алгоритм обновления, индексации и парсинга данных в инженерном портале компании: выпускная квалификационная работа магистра: направление 09.04.04 «Программная инженерия» ; образовательная программа 09.04.04_02 «Основы анализа и разработки приложений с большими объемами распределенных данных» = Algorithm for Updating, Indexing, and Parsing Data in a Companys Engineering Portal |
|---|---|
| Авторы | Ромашов Всеволод Александрович |
| Научный руководитель | Никифоров Игорь Валерьевич |
| Организация | Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и кибербезопасности |
| Выходные сведения | Санкт-Петербург, 2026 |
| Коллекция | Выпускные квалификационные работы ; Общая коллекция |
| Тематика | база знаний ; управление данными ; обновление конфигураций ; инженерный портал ; система контроля версий ; knowledge base ; data management ; configuration updating ; engineering portal ; version control system |
| Тип документа | Выпускная квалификационная работа магистра |
| Язык | Русский |
| Уровень высшего образования | Магистратура |
| Код специальности ФГОС | 09.04.04 |
| Группа специальностей ФГОС | 090000 - Информатика и вычислительная техника |
| DOI | 10.18720/SPBPU/3/2026/vr/vr26-4900 |
| Права доступа | Доступ по паролю из сети Интернет (чтение) |
| Дополнительно | Новинка |
| Ключ записи | ru\spstu\vkr\45073 |
| Дата создания записи | 04.09.2026 |
Разрешенные действия
–
Действие 'Прочитать' будет возможно после подготовки администраторами необходимых файлов
| Группа | Анонимные пользователи |
|---|---|
| Сеть | Интернет |
Выпускная квалификационная работа посвящена решению проблемы значительной задержки между моментом изменения конфигурации сущностей и отображением этих данных в инженерном портале, что приводит к информационной стагнации, снижению темпов проектных итераций и когнитивной перегрузке инженеров. В работе представлен анализ существующих основных алгоритмов обновления данных в базах знаний. На основе полученных результатов сравнительного анализа предложен и реализован высокопроизводительный алгоритм обновления, индексации и парсинга конфигураций, отличительной особенностью которого является использование системы контроля версий Git для отказоустойчивого хранения данных. Разработанное решение реализовано в виде набора встраиваемых микросервисов с использованием контейнеризации и оркестрации, что обеспечивает горизонтальное масштабирование и отказоустойчивость. Ключевые особенности алгоритма включают двухфазную обработку конфигурации, конвейерную генерацию задач с распределением по обработчикам, разделение изменений на приоритетные и фоновые, а также асинхронное обновление данных пользовательского интерфейса. Проведённые экспериментальные исследования подтвердили эффективность предложенного метода: время отклика системы сокращено с часов до секунд, ускорение по сравнению с существующим подходом составляет от 45 до 2000 раз. Программное решение покрыто бизнес тестами. Цель работы (уменьшение задержки между изменением и предоставлением данных о конфигурациях) достигнута, что подтверждает применимость разработанного алгоритма в инженерном портале компании.
This final thesis addresses the significant delay between entity configuration changes and the display of this data in the engineering portal, which leads to information stagnation, a decrease in the pace of project iterations, and cognitive overload for engineers. This paper presents an analysis of existing key algorithms for updating data in knowledge bases. Based on the results of the comparative analysis, a high-performance algorithm for updating, indexing, and parsing configurations is proposed and implemented. Its distinguishing feature is the use of the Git version control system for fault-tolerant data storage. The developed solution is implemented as a set of embedded microservices using containerization and orchestration, ensuring horizontal scalability and fault tolerance. Key features of the algorithm include two-phase configuration processing, pipelined task generation with distribution across handlers, separation of changes into priority and background, and asynchronous updating of user interface data. Experimental studies have confirmed the effectiveness of the proposed method: system response time has been reduced from hours to seconds, with a speedup of 45 to 2000 times compared to the existing approach. The software solution has been tested. The goal of the study (reducing the delay between changes and provision of configuration data) has been achieved, confirming the applicability of the developed algorithm in the companys engineering portal.
| Место доступа | Группа пользователей | Действие |
|---|---|---|
| Локальная сеть ИБК СПбПУ | Все |
|
| Интернет | Авторизованные пользователи СПбПУ |
|
| Интернет | Анонимные пользователи |
|