С 17 марта 2020 г. для ресурсов (учебные, научные, материалы конференций, статьи из периодических изданий, авторефераты диссертаций, диссертации) ЭБ СПбПУ, обеспечивающих образовательный процесс, установлен особый режим использования. Обращаем внимание, что ВКР/НД не относятся к этой категории.

Детальная информация

Название: Оценка скорости обработки больших данных, полученных в результате измерений с учетом их специфики, на базе Hortonworks Data Platform: выпускная квалификационная работа магистра: 12.04.01 - Приборостроение ; 12.04.01_04 - Информационные технологии безопасности сложных систем
Авторы: Рагозин Дмитрий Александрович
Научный руководитель: Сальников Вячеслав Юрьевич
Другие авторы: Мешалкина Марина Николаевна
Организация: Санкт-Петербургский политехнический университет Петра Великого. Институт промышленного менеджмента, экономики и торговли
Выходные сведения: Санкт-Петербург, 2019
Коллекция: Выпускные квалификационные работы; Общая коллекция
Тематика: big data; измерительные данные; скорость обработки данных; статистические оценки; apache spark; hortonworks data platform; python; measurement data; data processing speed; estimators
Тип документа: Выпускная квалификационная работа магистра
Тип файла: PDF
Язык: Русский
Код специальности ФГОС: 12.04.01
Группа специальностей ФГОС: 120000 - Фотоника, приборостроение, оптические и биотехнические системы и технологии
Ссылки: Отзыв руководителя; Рецензия; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2019/vr/vr19-1851
Права доступа: Свободный доступ из сети Интернет (чтение, печать)

Разрешенные действия:

Действие 'Прочитать' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети

Группа: Анонимные пользователи

Сеть: Интернет

Аннотация

В данной работе произведена оценка скорости обработки больших объемов измерительных данных, конкретно оценка скорости вычисления оценки дисперсии. Система обработки построена на базе Hortonworks Data Platform и Apache Spark, код написан на Python. Проведен анализ систем для распределенных вычислений и рассмотрены их общие положения. Описана математическая модель для вычисления оценки дисперсии для выборки данных. Разработана программная реализация данной модели.

In the given work the estimate of the processing speed of large volumes of measurement data is made. The processing system is based on Hortonworks Data Platform and Apache Spark, the code is written on Python. The analysis of systems for distributed computing is performed and their general theses are reviewed. A mathematical model for calculating the sample variance is described. A software implementation of this model is developed.

Права на использование объекта хранения

Место доступа Группа пользователей Действие
Локальная сеть ИБК СПбПУ Все Прочитать Печать
Интернет Авторизованные пользователи Прочитать Печать
-> Интернет Анонимные пользователи

Статистика использования

stat Количество обращений: 15
За последние 30 дней: 0
Подробная статистика