?
С 17 марта 2020 г. для ресурсов (учебные, научные, материалы конференций, статьи из периодических изданий, авторефераты диссертаций, диссертации) ЭБ СПбПУ, обеспечивающих образовательный процесс, установлен особый режим использования. Обращаем внимание, что ВКР/НД не относятся к этой категории.

Details
Table Card RUSMARC
Title: Оценка скорости обработки больших данных, полученных в результате измерений с учетом их специфики, на базе Hortonworks Data Platform: выпускная квалификационная работа магистра: 12.04.01 - Приборостроение ; 12.04.01_04 - Информационные технологии безопасности сложных систем
Creators: Рагозин Дмитрий Александрович
Scientific adviser: Сальников Вячеслав Юрьевич
Other creators: Мешалкина Марина Николаевна
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2019
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: big data; измерительные данные; скорость обработки данных; статистические оценки; apache spark; hortonworks data platform; python; measurement data; data processing speed; estimators
Document type: Master graduation qualification work
File type: PDF
Language: Russian
Speciality code (FGOS): 12.04.01
Speciality group (FGOS): 120000 - Фотоника, приборостроение, оптические и биотехнические системы и технологии
Links: Отзыв руководителя; Рецензия; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2019/vr/vr19-1851
Rights: Свободный доступ из сети Интернет (чтение, печать)

Allowed Actions: –

Action 'Read' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

В данной работе произведена оценка скорости обработки больших объемов измерительных данных, конкретно оценка скорости вычисления оценки дисперсии. Система обработки построена на базе Hortonworks Data Platform и Apache Spark, код написан на Python. Проведен анализ систем для распределенных вычислений и рассмотрены их общие положения. Описана математическая модель для вычисления оценки дисперсии для выборки данных. Разработана программная реализация данной модели.

In the given work the estimate of the processing speed of large volumes of measurement data is made. The processing system is based on Hortonworks Data Platform and Apache Spark, the code is written on Python. The analysis of systems for distributed computing is performed and their general theses are reviewed. A mathematical model for calculating the sample variance is described. A software implementation of this model is developed.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print
Internet Authorized users Read Print
-> Internet Anonymous

Usage statistics

stat Access count: 15
Last 30 days: 4
Detailed usage statistics