Details

Title: Программная реализация ETL процесса и бизнес-анализ данных системы видеоидентификации: выпускная квалификационная работа магистра: 09.04.04 - Программная инженерия ; 09.04.04_02 - Основы анализа и разработки приложений с большими объемами распределенных данных
Creators: Негодяева Татьяна Николаевна
Scientific adviser: Дробинцев Павел Дмитриевич
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2019
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: Базы данных; Интернет; Распознающие системы и устройства; ETL процесс; системы видеоидентификации; преобразование и загрузка данных; бизнес-анализ данных
UDC: 004.65(043.3); 004.738.5(043.3); 004.93'1(043.3)
Document type: Master graduation qualification work
File type: PDF
Language: Russian
Speciality code (FGOS): 09.04.04
Speciality group (FGOS): 090000 - Информатика и вычислительная техника
Links: http://doi.org/10.18720/SPBPU/3/2019/vr/vr19-1008; http://elib.spbstu.ru/dl/3/2019/vr/rev/vr19-1008-o.pdf; http://elib.spbstu.ru/dl/3/2019/vr/rev/vr19-1008-r.pdf; http://elib.spbstu.ru/dl/3/2019/vr/rev/vr19-1008-a.pdf
Rights: Свободный доступ из сети Интернет (чтение, печать, копирование)

Allowed Actions: Read Download (0.8 Mb) You need Flash Player to read document

Group: Anonymous

Network: Internet

Annotation

Магистерская работа посвящена программной реализации автоматического извлечения сырых данных системы видеоидентификации, их дальнейшего преобразования и осуществления бизнес-анализа на основании полученных персональных характеристик. В рамках выполнения работы были изучены особенности работы систем по автоматизации ETL процесса, спроектирована архитектура решения, позволяющее осуществлять автоматическую выгрузку исходных логов, оптимизировать скрипты, выполняющие преобразование данных на стороне БД и загрузку в инструмент для бизнес-анализа, которая в последствии была реализована. Система развернута на виртуальной машине удаленного сервера и будет развиваться дальше в соответствии с планом расширения функциональности.

The master’s thesis is devoted to the software implementation of the automatic extraction of the raw data of the video identification system, their transformation and the implementation of business analysis based on the obtained personal characteristics. As part of the work, the features of the ETL process automation systems were studied, the solution architecture was designed to automatically load of the source logs, optimize scripts that perform data transform on the database side and load into a business analysis tool that was later implemented. The system is deployed on the virtual machine of the remote server and will be developed according to the expansion plan in the future.

Document access rights

Network User group Action
FL SPbPU Local Network All Read Print Download
-> Internet All Read Print Download

Document usage statistics

stat Document access count: 29
Last 30 days: 7
Detailed usage statistics