Details

Title: Разработка и автоматизация модели машинного обучения для предсказания выживаемости клиентов коммерческого предприятия: выпускная квалификационная работа магистра: направление 09.04.04 «Программная инженерия» ; образовательная программа 09.04.04_02 «Основы анализа и разработки приложений с большими объемами распределенных данных»
Creators: Гнатюк Игорь Владимирович
Scientific adviser: Молодяков Сергей Александрович
Other creators: Локшина Екатерина Геннадиевна
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2020
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: Вычислительные машины электронные — Программы прикладные; распределенная обработка; большие данные; машинное обучение; глубокое обучение
UDC: 004.422.8:004.9
Document type: Master graduation qualification work
File type: PDF
Language: Russian
Level of education: Master
Speciality code (FGOS): 09.04.04
Speciality group (FGOS): 090000 - Информатика и вычислительная техника
Links: Отзыв руководителя; Рецензия; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2020/vr/vr20-927
Rights: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Record key: ru\spstu\vkr\6475

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Выпускная квалификационная работа магистра посвящена разработке и автоматизации модели машинного обучения для предсказания выживаемости клиента коммерческого предприятия. В ходе проведения работы была обучена и автоматизирована модель машинного обучения при использовании современных передовых технологий больших данных, машинного обучения и глубокого обучения. К тому же, были использованы современные алгоритмы построения векторного представления данных для улучшения качества модели. На основе обзора других современных методов и сравнения результатов на практике был выбран алгоритм Node2Vec. Обученная модель передается на кластере Apache Hadoop, где вычисляются предсказаний в больших объемах при помощи Apache Spark. В результате, модель была обучена и протестирована, продемонстрировав хорошее качество предсказаний. Автоматизация происходила с использованием Apache Airflow на кластере Hadoop.

The master thesis is devoted to development and automation of the machine learning model for predicting business customer survival. In the course of the work, the machine learning model was fitted and automated using modern technologies of big data, machine learning and deep learning. In addition, modern algorithms for constructing a vector representation of data were used to improve the quality of the model. Based on the comparative analysis, the Node2Vec algorithm was chosen. The fitted model is sent to the Apache Hadoop cluster, where large- scale predictions are calculated using Apache Spark. As a result, the model was fitted and tested, demonstrating the good quality of the predictions. Automation took place using Apache Airflow on a Hadoop cluster.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
Internet Authorized users SPbPU Read Print Download
-> Internet Anonymous

Usage statistics

stat Access count: 9
Last 30 days: 0
Detailed usage statistics