Детальная информация

Название: Общие улучшения в градиентном бустинге: выпускная квалификационная работа бакалавра: направление 01.03.02 «Прикладная математика и информатика» ; образовательная программа 01.03.02_02 «Системное программирование»
Авторы: Счастливцев Никита Александрович
Научный руководитель: Чуканов Вячеслав Сергеевич
Другие авторы: Арефьева Людмила Анатольевна; Константинов Андрей Владимирович
Организация: Санкт-Петербургский политехнический университет Петра Великого. Институт прикладной математики и механики
Выходные сведения: Санкт-Петербург, 2021
Коллекция: Выпускные квалификационные работы; Общая коллекция
Тематика: градиентный бустинг; машинное обучение; деревья решений; задача регрессии; гистограммы признаков; частично-случайные деревья решений; gradient boosting; machine learning; decision trees; regression problem; features histograms; partially randomized decision trees
Тип документа: Выпускная квалификационная работа бакалавра
Тип файла: PDF
Язык: Русский
Код специальности ФГОС: 01.03.02
Группа специальностей ФГОС: 010000 - Математика и механика
Ссылки: Отзыв руководителя; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2021/vr/vr21-2549
Права доступа: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Дополнительно: Новинка

Разрешенные действия:

Действие 'Прочитать' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети Действие 'Загрузить' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети

Группа: Анонимные пользователи

Сеть: Интернет

Аннотация

Данная работа посвящена повышению качества алгоритма машинного обучения, известного как градиентный бустинг. Задачи, которые решались в ходе исследования: 1. Разбор работы алгоритма градиентного бустинга на деревьях решений. 2. Реализация градиентного бустинга на деревьях решений с улучшениями для решения задачи регрессии. 3. Сравнение качества моделей градиентного бустинга своей реализациии с известными доступными реализациями. 4. Изучение влияния реализованных идей по улучшению алгоритма на его качество. Список основных исследуемых улучшений алгоритма: • Частично-случайные пороги признаков. • Гистограммы признаков с переменной сеткой. • Случайная добавка к цене разбиения при построении деревьев решений. В результате был написан программный модуль на языке C++ для языка Python 3, который содержит реализацию градиентного бустинга с улучшениями. Было проведено сравнение качества моделей машинного обучения, полученных в ходе своей реализации, с известными доступными реализациям на предмет качества моделей. Было исследовано влияние улучшений, представленных в работе, на качество моделей.

The given work is devoted to the quality improvement of the machine learning algorithm known as gradient boosting. The research set the following goals: 1. Understanding of the work of algorithm of gradient boosting based on regression trees in application to the solution of the regression problem. 2. Gradient boosting based on regression trees algorithm implementation. 3. Comparison of quality of gradient boosting models of the proposed implementation with known available implementations. 4. Research of impact of the implemented ideas of algorithm improvements on its quality. The list of main researched algorithm improvements: • Partially randomized feature thresholds. • Feature histograms with variable grid. • Random additive to the score of splits during decision tree fit. As the result, the program module with gradient boosting algorithm with im-provements implementation has been written in C++ language to use in Python 3 programming language. Comparison between the quality of machine learning models got with the proposed implementation and known available implementations has been done. The impact of the proposed improvements on the quality of the models has been studied.

Права на использование объекта хранения

Место доступа Группа пользователей Действие
Локальная сеть ИБК СПбПУ Все Прочитать Печать Загрузить
Интернет Авторизованные пользователи СПбПУ Прочитать Печать Загрузить
Интернет Авторизованные пользователи (не СПбПУ)
-> Интернет Анонимные пользователи

Статистика использования

stat Количество обращений: 1
За последние 30 дней: 0
Подробная статистика