Тема выпускной квалификационной работы: «Разработка и исследование новых моделей машинного обучения на основе обучения ядер регрессии Надарая–Уотсона». Целью работы является разработка универсального регрессора. В ходе исследования решались следующие задачи: Разработка архитектуры разрабатываемой модели. Отправной точкой в вопросе архитектуры является формула ядерной регрессии Надарая-Уотсона. Модель должна являть собой регрессор, не требующий дообучения на поступающих на вход выборках данных. Разработка алгоритма генерации обучающих наборов данных, на которых должна предобучаться модель. Рассмотрение различных распределений, на которых обучается и тестируется модель. Исследование зависимости структуры получаемого ядра от распределения факторов в обучающем наборе. Проведение сравнительных тестов с прочими регрессорами: регрессией Надарая-Уотсона с Гауссовым ядром, полносвязной нейросетью, k ближайших соседей, SVR и градиентным бустингом. Численные эксперименты показали, что полученная модель превосходит по показателям свой прототип и сравнима с остальными регрессорами. Преимущество разработанного регрессора наблюдается при рассмотрении выборок с известным распределением факторов.

The subject of the graduate qualification work is «Research and developement of new machine learning models based on Nadaraya-Watson kernel regression». The purpose of the work is developing of the universal regressor. During the research several tasks were solved: Developing the universal regressor's architecture. Starting point of the architecture problem is the Nadaraya-Watson kernel regression. The model must be a regressor which doesn't need to be trained on the incoming data.Developing the data generation algorithm. The universal regressor should be pretrained using this algorithm. Considering different distributions of the training and testing data. Study the dependence of the kernel's structure, obtained on different features distributions. Comparing the universal regressor with other regression algorithms: the Nadaraya-Watson kernel regression, Dense neural network, k nearest neighbours, SVR and GBM. Various numerical experiments show that the proposed model outperforms its prototype and comparable with other models. There is the advantage of the developed universal regressor with known features distribution.

• Разработка и исследование новых моделей машинного обучения на основе обучения ядер регрессии Надарая-Уотсона
  • Введение
  • 1. Нейронные сети и задача регрессии
  • 2. Разработка модели универсального регрессора
  • 3. Предобучение универсального регрессора
  • 4. Численные эксперименты
  • Вывод
  • Список использованных источников