Details

Title: Реализация системы распределенного анализа потоковых данных для непрерывного производства: магистерская диссертация: 27.04.04
Creators: Шереметова Евгения Ивановна
Scientific adviser: Потехин Вячеслав Витальевич
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2017
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: Информационные системы с распределенными параметрами; непрерывное производство; выявление паттернов; потоковые данные; кластерные вычисления
UDC: 681.5.013:519.224(043.3)
Document type: Master graduation qualification work
File type: PDF
Language: Russian
Level of education: Master
Speciality code (FGOS): 27.04.04
Speciality group (FGOS): 270000 - Управление в технических системах
DOI: 10.18720/SPBPU/2/v17-2588
Rights: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Record key: RU\SPSTU\edoc\43641

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Данная работа посвящена разработке подхода к выявлению паттернов в последовательностях категориальных данных для непрерывного производства. Исследование последних тенденций развития производственной сферы подтверждает необходимость разработки подходов, применимых для анализа значительных объемов данных в потоке. Представленный в работе подход включает в себя методы распределенной обработки, которые дают возможность проводить анализ данных в потоке для обеспечения адекватного времени отклика.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
Internet Authorized users SPbPU Read Print Download
-> Internet Anonymous

Table of Contents

  • ВВЕДЕНИЕ
  • ГЛАВА 1 ПОСТАНОВКА ЗАДАЧИ
    • 1.1 Цели и задачи исследования
    • 1.2 Исходные данные
    • 1.3 Выводы по главе 1
  • ГЛАВА 2 ТЕОРЕТИЧЕСКИЕ ОСНОВЫ РАССМАТРИВАЕМЫХ СИСТЕМ И ПОДХОДОВ
    • 2.1 Требования, предъявляемые к системам анализа потоковых данных
    • 2.2 Существующие подходы к анализу потоковых данных
      • 2.2.1 Закон Амдала
      • 2.2.2 Результаты исследования масштабируемости методов анализа данных в последовательностях
    • 2.3 Алгоритм анализа категориальных последовательностей PrefixSpan
    • 2.4 Модель параллельных вычислений MapReduce
    • 2.5 Выводы по главе 2
  • ГЛАВА 3 РЕАЛИЗАЦИЯ СИСТЕМЫ С ИСПОЛЬЗОВАНИЕМ СТЕКА ПРОМЫШЛЕННЫХ ТЕХНОЛОГИЙ
    • 3.1 Сравнение технологий для реализации компонентов системы
      • 3.1.1 Настройка кластеров. Облачные вычисления в Amazon EMR
      • 3.1.2 Распределенные вычисления на кластерах. Технология Apache Spark
    • 3.3 Выводы по главе 3
  • ГЛАВА 4 АРХИТЕКТУРА СИСТЕМЫ РАСПРЕДЕЛЕННОГО АНАЛИЗА ПОТОКОВЫХ ДАННЫХ
    • 4.1 Реализация потоковой обработки данных на распределенной платформе Apache Spark
    • 4.2 Описание архитектуры разработанной системы
    • 4.3 Оценка производительности работы системы
    • 4.4 Выводы по главе 4
  • ЗАКЛЮЧЕНИЕ
  • СПИСОК ИСТОЧНИКОВ
  • ПРИЛОЖЕНИЕ 1 ЛИСТИНГ ПРОГРАММЫ РАСПРЕДЕЛЕННОГО АНАЛИЗА

Usage statistics

stat Access count: 515
Last 30 days: 0
Detailed usage statistics