Details
Title | Разработка и исследование новых алгоритмов глубокого градиентного бустинга для решения задач большой размерности: выпускная квалификационная работа магистра: направление 01.04.02 «Прикладная математика и информатика» ; образовательная программа 01.04.02_02 «Математические методы анализа и визуализации данных» |
---|---|
Creators | Константинов Андрей Владимирович |
Scientific adviser | Уткин Лев Владимирович |
Other creators | Арефьева Людмила Анатольевна |
Organization | Санкт-Петербургский политехнический университет Петра Великого. Институт прикладной математики и механики |
Imprint | Санкт-Петербург, 2020 |
Collection | Выпускные квалификационные работы ; Общая коллекция |
Subjects | машинное обучение ; восстановление регрессии ; классификация ; деревья решений ; градиентный бустинг ; machine learning ; regression ; classification ; decision trees ; gradient boosting machine |
Document type | Master graduation qualification work |
File type | |
Language | Russian |
Level of education | Master |
Speciality code (FGOS) | 01.04.02 |
Speciality group (FGOS) | 010000 - Математика и механика |
Links | Отзыв руководителя ; Рецензия ; Отчет о проверке на объем и корректность внешних заимствований |
DOI | 10.18720/SPBPU/3/2020/vr/vr20-1059 |
Rights | Доступ по паролю из сети Интернет (чтение, печать, копирование) |
Record key | ru\spstu\vkr\8229 |
Record create date | 7/31/2020 |
Allowed Actions
–
Action 'Read' will be available if you login or access site from another network
Action 'Download' will be available if you login or access site from another network
Group | Anonymous |
---|---|
Network | Internet |
Данная работа посвящена исследованию и разработке новых алгоритмов машинного обучения на основе деревьев решений для решения задач восстановления регрессии и классификации. Задачи, которые решались в ходе исследования: 1. Изучение и анализ наиболее актуальных подходов решения задач регрессии и классификации на основе деревьев решений. 2. Разработка новых алгоритмов машинного обучения. 3. Исследование и анализ полученных алгоритмов. 4. Сравнение с существующими алгоритмами, основанными на деревьях решений. Были проанализированы недостатки существующих алгоритмов, основанных на деревьях решений, а также применимость глубокого леса к задаче регрессии. В результате разработаны два принципиально новых алгоритма машинного обучения: глубокий градиентный бустинг и адаптивная композиция моделей градиентного бустинга; а также модификация алгоритма градиентного бустинга деревьев решений. Проведено множество численных экспериментов и сравнение с существующими актуальными алгоритмами машинного обучения, такими как: случайный лес и градиентный бустинг деревьев решений, в том числе XGBoost и CatBoost. Результаты сравнения указывают на возможность построения более точных моделей с помощью предложенных алгоритмов.
This paper is devoted to development of new machine learning algorithms for regression and classification tasks based on decision trees. The research set the following goals: 1. Research of decision tree-based machine learning approaches. 2. Development of new machine learning algorithms. 3. Analysis of developed algorithms. 4. Comparison with other decision tree-based machine learning algorithms. The analysis of currently available decision tree-based algorithms has been made. Also, the applicability of Deep Forest to the regression task has been revised. The study resulted in two brand new machine learning algorithms: deep gradient boosting and adaptive gradient boosting ensemble; and the modification of decision tree-based gradient boosting. The numerical experiments made during the research, and comparison with other decision tree-based algorithms, including Random Forest, XGBoost and CatBoost, show that developed methods can be used to construct more precise models.
Network | User group | Action |
---|---|---|
ILC SPbPU Local Network | All |
|
Internet | Authorized users SPbPU |
|
Internet | Anonymous |
|
- Введение
- Глава 1. Постановка задачи и анализ литературы
- 1.1. Актуальные подходы машинного обучения
- 1.2. Формальная постановка задачи машинного обучения с учителем
- 1.3. Случайный лес и чрезвычайно рандомизированные деревья
- 1.4. Алгоритм градиентного бустинга
- Глава 2. Алгоритмы глубокого градиентного бустинга
- 2.1. Адаптивная композиция моделей градиентного бустинга
- 2.3. Градиентный бустинг на основе глубокого леса
- 2.3. Усовершенствование классического алгоритма градиентного бустинга
- 2.5. Эксперименты и результаты
- Заключение
- Список литературных источников
Access count: 59
Last 30 days: 0