Details

Title: Разработка и исследование новых алгоритмов глубокого градиентного бустинга для решения задач большой размерности: выпускная квалификационная работа магистра: направление 01.04.02 «Прикладная математика и информатика» ; образовательная программа 01.04.02_02 «Математические методы анализа и визуализации данных»
Creators: Константинов Андрей Владимирович
Scientific adviser: Уткин Лев Владимирович
Other creators: Арефьева Людмила Анатольевна
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт прикладной математики и механики
Imprint: Санкт-Петербург, 2020
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: машинное обучение; восстановление регрессии; классификация; деревья решений; градиентный бустинг; machine learning; regression; classification; decision trees; gradient boosting machine
Document type: Master graduation qualification work
File type: PDF
Language: Russian
Speciality code (FGOS): 01.04.02
Speciality group (FGOS): 010000 - Математика и механика
Links: Отзыв руководителя; Рецензия; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2020/vr/vr20-1059
Rights: Доступ по паролю из сети Интернет (чтение, печать, копирование)

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Данная работа посвящена исследованию и разработке новых алгоритмов машинного обучения на основе деревьев решений для решения задач восстановления регрессии и классификации. Задачи, которые решались в ходе исследования: 1. Изучение и анализ наиболее актуальных подходов решения задач регрессии и классификации на основе деревьев решений. 2. Разработка новых алгоритмов машинного обучения. 3. Исследование и анализ полученных алгоритмов. 4. Сравнение с существующими алгоритмами, основанными на деревьях решений. Были проанализированы недостатки существующих алгоритмов, основанных на деревьях решений, а также применимость глубокого леса к задаче регрессии. В результате разработаны два принципиально новых алгоритма машинного обучения: глубокий градиентный бустинг и адаптивная композиция моделей градиентного бустинга; а также модификация алгоритма градиентного бустинга деревьев решений. Проведено множество численных экспериментов и сравнение с существующими актуальными алгоритмами машинного обучения, такими как: случайный лес и градиентный бустинг деревьев решений, в том числе XGBoost и CatBoost. Результаты сравнения указывают на возможность построения более точных моделей с помощью предложенных алгоритмов.

This paper is devoted to development of new machine learning algorithms for regression and classification tasks based on decision trees. The research set the following goals: 1. Research of decision tree-based machine learning approaches. 2. Development of new machine learning algorithms. 3. Analysis of developed algorithms. 4. Comparison with other decision tree-based machine learning algorithms. The analysis of currently available decision tree-based algorithms has been made. Also, the applicability of Deep Forest to the regression task has been revised. The study resulted in two brand new machine learning algorithms: deep gradient boosting and adaptive gradient boosting ensemble; and the modification of decision tree-based gradient boosting. The numerical experiments made during the research, and comparison with other decision tree-based algorithms, including Random Forest, XGBoost and CatBoost, show that developed methods can be used to construct more precise models.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
Internet Authorized users SPbPU Read Print Download
Internet Authorized users (not from SPbPU)
-> Internet Anonymous

Table of Contents

  • Введение
  • Глава 1. Постановка задачи и анализ литературы
    • 1.1. Актуальные подходы машинного обучения
    • 1.2. Формальная постановка задачи машинного обучения с учителем
    • 1.3. Случайный лес и чрезвычайно рандомизированные деревья
    • 1.4. Алгоритм градиентного бустинга
  • Глава 2. Алгоритмы глубокого градиентного бустинга
    • 2.1. Адаптивная композиция моделей градиентного бустинга
    • 2.3. Градиентный бустинг на основе глубокого леса
    • 2.3. Усовершенствование классического алгоритма градиентного бустинга
    • 2.5. Эксперименты и результаты
  • Заключение
  • Список литературных источников

Usage statistics

stat Access count: 28
Last 30 days: 0
Detailed usage statistics