Данная работа посвящена исследованию и разработке новых алгоритмов машинного обучения на основе деревьев решений для решения задач восстановления регрессии и классификации. Задачи, которые решались в ходе исследования: 1. Изучение и анализ наиболее актуальных подходов решения задач регрессии и классификации на основе деревьев решений. 2. Разработка новых алгоритмов машинного обучения. 3. Исследование и анализ полученных алгоритмов. 4. Сравнение с существующими алгоритмами, основанными на деревьях решений. Были проанализированы недостатки существующих алгоритмов, основанных на деревьях решений, а также применимость глубокого леса к задаче регрессии. В результате разработаны два принципиально новых алгоритма машинного обучения: глубокий градиентный бустинг и адаптивная композиция моделей градиентного бустинга; а также модификация алгоритма градиентного бустинга деревьев решений. Проведено множество численных экспериментов и сравнение с существующими актуальными алгоритмами машинного обучения, такими как: случайный лес и градиентный бустинг деревьев решений, в том числе XGBoost и CatBoost. Результаты сравнения указывают на возможность построения более точных моделей с помощью предложенных алгоритмов.

This paper is devoted to development of new machine learning algorithms for regression and classification tasks based on decision trees. The research set the following goals: 1. Research of decision tree-based machine learning approaches. 2. Development of new machine learning algorithms. 3. Analysis of developed algorithms. 4. Comparison with other decision tree-based machine learning algorithms. The analysis of currently available decision tree-based algorithms has been made. Also, the applicability of Deep Forest to the regression task has been revised. The study resulted in two brand new machine learning algorithms: deep gradient boosting and adaptive gradient boosting ensemble; and the modification of decision tree-based gradient boosting. The numerical experiments made during the research, and comparison with other decision tree-based algorithms, including Random Forest, XGBoost and CatBoost, show that developed methods can be used to construct more precise models.

• Введение
• Глава 1. Постановка задачи и анализ литературы
  • 1.1. Актуальные подходы машинного обучения
  • 1.2. Формальная постановка задачи машинного обучения с учителем
  • 1.3. Случайный лес и чрезвычайно рандомизированные деревья
  • 1.4. Алгоритм градиентного бустинга
• Глава 2. Алгоритмы глубокого градиентного бустинга
  • 2.1. Адаптивная композиция моделей градиентного бустинга
  • 2.3. Градиентный бустинг на основе глубокого леса
  • 2.3. Усовершенствование классического алгоритма градиентного бустинга
  • 2.5. Эксперименты и результаты
• Заключение
• Список литературных источников