?

Детальная информация
Таблица Карточка RUSMARC
Название: Разработка подхода анализа данных, расположенных в архивной системе, построенной на базе OAIS: бакалаврская работа: 09.03.01
Авторы: Полубенцев Павел Константинович
Научный руководитель: Никифоров Игорь Валерьевич
Организация: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Выходные сведения: Санкт-Петербург, 2016
Коллекция: Выпускные квалификационные работы; Общая коллекция
Тематика: архивная система; разработка подхода анализа данных; структура Java-приложения
Тип документа: Выпускная квалификационная работа бакалавра
Тип файла: PDF
Язык: Русский
Уровень высшего образования: Бакалавриат
Код специальности ФГОС: 09.03.01
Группа специальностей ФГОС: 090000 - Информатика и вычислительная техника
DOI: 10.18720/SPBPU/2/v17-1132
Права доступа: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Ключ записи: RU\SPSTU\edoc\37307

Разрешенные действия: –

Действие 'Прочитать' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети Действие 'Загрузить' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети

Группа: Анонимные пользователи

Сеть: Интернет

Аннотация

Бакалаврская работа посвящена разработке подхода к анализу данных, расположенных в архивной системе, построенной на стандарте OAIS. Дан обзор современным технологиям, таким как Apache Hadoop, Apache Spark, Apache Storm, которые позволяют оперировать с большими данными как в пакетном режиме, так и в режиме реального времени. Рассмотрены программные продукты, которые позволяют взаимодействовать с перечисленными технологиями и реализовывать современные алгоритмы обработки информации. В рамках работы разработано приложение на языке Java для анализа данных, хранящихся в архивной системе, построенной на основе стандарта OAIS. Написана программа на языке R для визуализации полученных результатов и проведения визуальной аналитики. Также был реализован пользовательский web-интерфейс для предоставления и доступа к сформированным данным конечному пользователю. Предложенный подход был протестирован и применен к различным данным.

Права на использование объекта хранения

Место доступа Группа пользователей Действие
Локальная сеть ИБК СПбПУ Все Прочитать Печать Загрузить
Интернет Авторизованные пользователи СПбПУ Прочитать Печать Загрузить
-> Интернет Анонимные пользователи

Оглавление

  • Содержание
  • Список рисунков
  • Сокращения
  • Реферат
  • Введение
  • 1. Обзор предметной области
    • 1.1. Системы для реализации распределённой обработки данных
      • 1.1.1. Проект Apache Hadoop
      • 1.1.2. Фреймворк Apache Spark
      • 1.1.3. Обработка в режиме реального времени с Apache Storm
    • 1.2 Рекомендация долговременного хранения данных OAIS
    • 1.3. Java XML Parsers API
      • 1.3.1 SAX
      • 1.3.2 StAX
      • 1.3.3 DOM
      • 1.3.4. Восстановление объектной модели из XML
    • 1.4 Структура анализируемого файла
    • 1.5. Язык R
    • 1.6.Выводы
  • 2. Подход анализа архивных данных
    • 2.1. Модель анализа данных
    • 2.2. Модуль разбора и обработки данных
    • 2.3. Используемые артифакты
    • 2.4. Визуализация результатов анализа
      • 2.4.1. Обобщенная схема подхода
      • 2.4.2. Пользовательский интерфейс
    • 2.5. Выводы
  • 3. Реализация
    • 3.1. Конфигурация Eclipse для работы с Hadoop
      • 3.1.2. Настройка пользовательских библиотек
      • 3.1.3. Описание пакетов и классов MapReduce
    • 3.2. Взаимодействие с HDFS
      • 3.2.1. Запись в файл и чтение из файла
      • 3.2.2. Копирование файлов в HDFS
      • 3.2.3. Удаление файлов в HDFS
      • 3.2.4.Копирование файлов из локальной FS в HDFS
    • 3.3. Реализация MapReduce
    • 3.4. Структура Java-приложения
    • 3.5. Язык R
  • 4. Результаты применения подхода
  • Заключение
  • Список литературы

Статистика использования

stat Количество обращений: 910
За последние 30 дней: 0
Подробная статистика