Details
| Title | Оценка скорости обработки больших данных, полученных в результате измерений с учетом их специфики, на базе Hortonworks Data Platform: выпускная квалификационная работа магистра по направлению 12.04.01 - Приборостроение ; 12.04.01_04 - Информационные технологии безопасности сложных систем |
|---|---|
| Creators | Рагозин Дмитрий Александрович |
| Scientific adviser | Сальников Вячеслав Юрьевич |
| Organization | Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий |
| Imprint | Санкт-Петербург, 2019 |
| Collection | Выпускные квалификационные работы ; Общая коллекция |
| Subjects | Информация — Обработка - Автоматизация ; измерительные данные ; скорость обработки данных ; статистические оценки ; питон ; большие данные ; платформа данных hortonworks |
| UDC | 004.056.5 |
| Document type | Master graduation qualification work |
| File type | |
| Language | Russian |
| Level of education | Master |
| Speciality code (FGOS) | 12.04.01 |
| Speciality group (FGOS) | 120000 - Фотоника, приборостроение, оптические и биотехнические системы и технологии |
| Links | Отзыв руководителя ; Рецензия ; Отчет о проверке на объем и корректность внешних заимствований |
| DOI | 10.18720/SPBPU/3/2019/vr/vr19-1851 |
| Rights | Доступ по паролю из сети Интернет (чтение, печать) |
| Record key | ru\spstu\vkr\3009 |
| Record create date | 10/9/2019 |
Allowed Actions
–
Action 'Read' will be available if you login or access site from another network
| Group | Anonymous |
|---|---|
| Network | Internet |
В данной работе произведена оценка скорости обработки больших объемов измерительных данных, конкретно оценка скорости вычисления оценки дисперсии. Система обработки построена на базе Hortonworks Data Platform и Apache Spark, код написан на Python. Проведен анализ систем для распределенных вычислений и рассмотрены их общие положения. Описана математическая модель для вычисления оценки дисперсии для выборки данных. Разработана программная реализация данной модели.
In the given work the estimate of the processing speed of large volumes of measurement data is made. The processing system is based on Hortonworks Data Platform and Apache Spark, the code is written on Python. The analysis of systems for distributed computing is performed and their general theses are reviewed. A mathematical model for calculating the sample variance is described. A software implementation of this model is developed.
| Network | User group | Action |
|---|---|---|
| ILC SPbPU Local Network | All |
|
| Internet | Authorized users SPbPU |
|
| Internet | Anonymous |
|
Access count: 20
Last 30 days: 0
