Details

Title Проектирование, реализация, применение распределенных систем машинного обучения: бакалаврская работа: 09.03.04
Creators Лунев Владимир Сергеевич
Scientific adviser Никифоров И.В.
Organization Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint Санкт-Петербург, 2017
Collection Выпускные квалификационные работы ; Общая коллекция
Subjects распределенные системы ; стемминг ; программная реализация
Document type Bachelor graduation qualification work
File type PDF
Language Russian
Level of education Bachelor
Speciality code (FGOS) 09.03.04
Speciality group (FGOS) 090000 - Информатика и вычислительная техника
DOI 10.18720/SPBPU/2/v17-3720
Rights Доступ по паролю из сети Интернет (чтение, печать, копирование)
Record key RU\SPSTU\edoc\42181
Record create date 9/27/2017

Allowed Actions

Action 'Read' will be available if you login or access site from another network

Action 'Download' will be available if you login or access site from another network

Group Anonymous
Network Internet

Данная работа посвящена исследованию актуальности использования распределенных систем при использовании машинном обучении. В качестве примеров систем рассмотрены такие фреймворки как: Apache Spark, Apache Storm, Apache Hadoop MapReduce. Рассмотрены методы распределения вычислений этих систем, произведено сравнение и анализ систем. Рассмотрены некоторые методы машинного обучения такие как: наивный Байесовский классификатор, метод к-средних, дерево принятия решений, случайный лес. Представлено краткое описание работы методов, их особенности. Предложена методика приведения текста к вектору чисел, для дальнейшего анализа методами машинного обучения. Так же приведено краткое описание некоторых методов стемминга слов. Произведено сравнение некоторых систем анализа данных на уязвимости, сделано сравнение этих систем. На основе всех вышеперечисленных данных выдвинуты требования к реализации системы анализа данных на уязвимости (frauddetection). Для системы frauddetection описан детальный дизайн: общая схема взаимодействия модулей, подробно описана внутренняя работа модулей. Описана реализация прототипа системы с использованием Apache Camel, Apache Spark. Описана работа каждого класса системы. Для системы предложены сценарии использования. На тестовых данных успешно протестирована работа системы.

Network User group Action
ILC SPbPU Local Network All
Read Print Download
Internet Authorized users SPbPU
Read Print Download
Internet Anonymous

Access count: 339 
Last 30 days: 0

Detailed usage statistics