Details

Title Разработка и исследование новых алгоритмов глубокого градиентного бустинга для решения задач большой размерности: выпускная квалификационная работа магистра: направление 01.04.02 «Прикладная математика и информатика» ; образовательная программа 01.04.02_02 «Математические методы анализа и визуализации данных»
Creators Константинов Андрей Владимирович
Scientific adviser Уткин Лев Владимирович
Other creators Арефьева Людмила Анатольевна
Organization Санкт-Петербургский политехнический университет Петра Великого. Институт прикладной математики и механики
Imprint Санкт-Петербург, 2020
Collection Выпускные квалификационные работы ; Общая коллекция
Subjects машинное обучение ; восстановление регрессии ; классификация ; деревья решений ; градиентный бустинг ; machine learning ; regression ; classification ; decision trees ; gradient boosting machine
Document type Master graduation qualification work
File type PDF
Language Russian
Level of education Master
Speciality code (FGOS) 01.04.02
Speciality group (FGOS) 010000 - Математика и механика
Links Отзыв руководителя ; Рецензия ; Отчет о проверке на объем и корректность внешних заимствований
DOI 10.18720/SPBPU/3/2020/vr/vr20-1059
Rights Доступ по паролю из сети Интернет (чтение, печать, копирование)
Record key ru\spstu\vkr\8229
Record create date 7/31/2020

Allowed Actions

Action 'Read' will be available if you login or access site from another network

Action 'Download' will be available if you login or access site from another network

Group Anonymous
Network Internet

Данная работа посвящена исследованию и разработке новых алгоритмов машинного обучения на основе деревьев решений для решения задач восстановления регрессии и классификации. Задачи, которые решались в ходе исследования: 1. Изучение и анализ наиболее актуальных подходов решения задач регрессии и классификации на основе деревьев решений. 2. Разработка новых алгоритмов машинного обучения. 3. Исследование и анализ полученных алгоритмов. 4. Сравнение с существующими алгоритмами, основанными на деревьях решений. Были проанализированы недостатки существующих алгоритмов, основанных на деревьях решений, а также применимость глубокого леса к задаче регрессии. В результате разработаны два принципиально новых алгоритма машинного обучения: глубокий градиентный бустинг и адаптивная композиция моделей градиентного бустинга; а также модификация алгоритма градиентного бустинга деревьев решений. Проведено множество численных экспериментов и сравнение с существующими актуальными алгоритмами машинного обучения, такими как: случайный лес и градиентный бустинг деревьев решений, в том числе XGBoost и CatBoost. Результаты сравнения указывают на возможность построения более точных моделей с помощью предложенных алгоритмов.

This paper is devoted to development of new machine learning algorithms for regression and classification tasks based on decision trees. The research set the following goals: 1. Research of decision tree-based machine learning approaches. 2. Development of new machine learning algorithms. 3. Analysis of developed algorithms. 4. Comparison with other decision tree-based machine learning algorithms. The analysis of currently available decision tree-based algorithms has been made. Also, the applicability of Deep Forest to the regression task has been revised. The study resulted in two brand new machine learning algorithms: deep gradient boosting and adaptive gradient boosting ensemble; and the modification of decision tree-based gradient boosting. The numerical experiments made during the research, and comparison with other decision tree-based algorithms, including Random Forest, XGBoost and CatBoost, show that developed methods can be used to construct more precise models.

Network User group Action
ILC SPbPU Local Network All
Read Print Download
Internet Authorized users SPbPU
Read Print Download
Internet Anonymous
  • Введение
  • Глава 1. Постановка задачи и анализ литературы
    • 1.1. Актуальные подходы машинного обучения
    • 1.2. Формальная постановка задачи машинного обучения с учителем
    • 1.3. Случайный лес и чрезвычайно рандомизированные деревья
    • 1.4. Алгоритм градиентного бустинга
  • Глава 2. Алгоритмы глубокого градиентного бустинга
    • 2.1. Адаптивная композиция моделей градиентного бустинга
    • 2.3. Градиентный бустинг на основе глубокого леса
    • 2.3. Усовершенствование классического алгоритма градиентного бустинга
    • 2.5. Эксперименты и результаты
  • Заключение
  • Список литературных источников

Access count: 59 
Last 30 days: 0

Detailed usage statistics