Details

Title: Программная реализация ETL процесса и бизнес-анализ данных системы видеоидентификации: выпускная квалификационная работа магистра: 09.04.04 - Программная инженерия ; 09.04.04_02 - Основы анализа и разработки приложений с большими объемами распределенных данных
Creators: Негодяева Татьяна Николаевна
Scientific adviser: Дробинцев Павел Дмитриевич
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2019
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: Базы данных; Интернет; Распознающие системы и устройства; ETL процесс; системы видеоидентификации; преобразование и загрузка данных; бизнес-анализ данных
UDC: 004.65(043.3); 004.738.5(043.3); 004.93'1(043.3)
Document type: Master graduation qualification work
File type: PDF
Language: Russian
Level of education: Master
Speciality code (FGOS): 09.04.04
Speciality group (FGOS): 090000 - Информатика и вычислительная техника
Links: Отзыв руководителя; Рецензия; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2019/vr/vr19-1008
Rights: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Record key: ru\spstu\vkr\2433

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Магистерская работа посвящена программной реализации автоматического извлечения сырых данных системы видеоидентификации, их дальнейшего преобразования и осуществления бизнес-анализа на основании полученных персональных характеристик. В рамках выполнения работы были изучены особенности работы систем по автоматизации ETL процесса, спроектирована архитектура решения, позволяющее осуществлять автоматическую выгрузку исходных логов, оптимизировать скрипты, выполняющие преобразование данных на стороне БД и загрузку в инструмент для бизнес-анализа, которая в последствии была реализована. Система развернута на виртуальной машине удаленного сервера и будет развиваться дальше в соответствии с планом расширения функциональности.

The master’s thesis is devoted to the software implementation of the automatic extraction of the raw data of the video identification system, their transformation and the implementation of business analysis based on the obtained personal characteristics. As part of the work, the features of the ETL process automation systems were studied, the solution architecture was designed to automatically load of the source logs, optimize scripts that perform data transform on the database side and load into a business analysis tool that was later implemented. The system is deployed on the virtual machine of the remote server and will be developed according to the expansion plan in the future.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
Internet Authorized users SPbPU Read Print Download
-> Internet Anonymous

Usage statistics

stat Access count: 45
Last 30 days: 0
Detailed usage statistics