Details

Title Оценка скорости обработки больших данных, полученных в результате измерений с учетом их специфики, на базе Hortonworks Data Platform: выпускная квалификационная работа магистра по направлению 12.04.01 - Приборостроение ; 12.04.01_04 - Информационные технологии безопасности сложных систем
Creators Рагозин Дмитрий Александрович
Scientific adviser Сальников Вячеслав Юрьевич
Organization Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint Санкт-Петербург, 2019
Collection Выпускные квалификационные работы ; Общая коллекция
Subjects Информация — Обработка - Автоматизация ; измерительные данные ; скорость обработки данных ; статистические оценки ; питон ; большие данные ; платформа данных hortonworks
UDC 004.056.5
Document type Master graduation qualification work
File type PDF
Language Russian
Level of education Master
Speciality code (FGOS) 12.04.01
Speciality group (FGOS) 120000 - Фотоника, приборостроение, оптические и биотехнические системы и технологии
Links Отзыв руководителя ; Рецензия ; Отчет о проверке на объем и корректность внешних заимствований
DOI 10.18720/SPBPU/3/2019/vr/vr19-1851
Rights Доступ по паролю из сети Интернет (чтение, печать)
Record key ru\spstu\vkr\3009
Record create date 10/9/2019

Allowed Actions

Action 'Read' will be available if you login or access site from another network

Group Anonymous
Network Internet

В данной работе произведена оценка скорости обработки больших объемов измерительных данных, конкретно оценка скорости вычисления оценки дисперсии. Система обработки построена на базе Hortonworks Data Platform и Apache Spark, код написан на Python. Проведен анализ систем для распределенных вычислений и рассмотрены их общие положения. Описана математическая модель для вычисления оценки дисперсии для выборки данных. Разработана программная реализация данной модели.

In the given work the estimate of the processing speed of large volumes of measurement data is made. The processing system is based on Hortonworks Data Platform and Apache Spark, the code is written on Python. The analysis of systems for distributed computing is performed and their general theses are reviewed. A mathematical model for calculating the sample variance is described. A software implementation of this model is developed.

Network User group Action
ILC SPbPU Local Network All
Read Print
Internet Authorized users SPbPU
Read Print
Internet Anonymous

Access count: 20 
Last 30 days: 0

Detailed usage statistics