С 17 марта 2020 г. для ресурсов (учебные, научные, материалы конференций, статьи из периодических изданий, авторефераты диссертаций, диссертации) ЭБ СПбПУ, обеспечивающих образовательный процесс, установлен особый режим использования. Обращаем внимание, что ВКР/НД не относятся к этой категории.

Детальная информация

Название: Проектирование, реализация, применение распределенных систем машинного обучения: бакалаврская работа: 09.03.04
Авторы: Лунев Владимир Сергеевич
Научный руководитель: Никифоров И.В.
Организация: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Выходные сведения: Санкт-Петербург, 2017
Коллекция: Выпускные квалификационные работы; Общая коллекция
Тематика: распределенные системы; стемминг; программная реализация
Тип документа: Выпускная квалификационная работа бакалавра
Тип файла: PDF
Язык: Русский
Код специальности ФГОС: 09.03.04
Группа специальностей ФГОС: 090000 - Информатика и вычислительная техника
DOI: 10.18720/SPBPU/2/v17-3720
Права доступа: Свободный доступ из сети Интернет (чтение, печать, копирование)

Разрешенные действия:

Действие 'Прочитать' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети Действие 'Загрузить' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети

Группа: Анонимные пользователи

Сеть: Интернет

Аннотация

Данная работа посвящена исследованию актуальности использования распределенных систем при использовании машинном обучении. В качестве примеров систем рассмотрены такие фреймворки как: Apache Spark, Apache Storm, Apache Hadoop MapReduce. Рассмотрены методы распределения вычислений этих систем, произведено сравнение и анализ систем. Рассмотрены некоторые методы машинного обучения такие как: наивный Байесовский классификатор, метод к-средних, дерево принятия решений, случайный лес. Представлено краткое описание работы методов, их особенности. Предложена методика приведения текста к вектору чисел, для дальнейшего анализа методами машинного обучения. Так же приведено краткое описание некоторых методов стемминга слов. Произведено сравнение некоторых систем анализа данных на уязвимости, сделано сравнение этих систем. На основе всех вышеперечисленных данных выдвинуты требования к реализации системы анализа данных на уязвимости (frauddetection). Для системы frauddetection описан детальный дизайн: общая схема взаимодействия модулей, подробно описана внутренняя работа модулей. Описана реализация прототипа системы с использованием Apache Camel, Apache Spark. Описана работа каждого класса системы. Для системы предложены сценарии использования. На тестовых данных успешно протестирована работа системы.

Права на использование объекта хранения

Место доступа Группа пользователей Действие
Локальная сеть ИБК СПбПУ Все Прочитать Печать Загрузить
Интернет Авторизованные пользователи Прочитать Печать Загрузить
-> Интернет Анонимные пользователи

Статистика использования

stat Количество обращений: 328
За последние 30 дней: 0
Подробная статистика