Данная работа посвящена исследованию алгоритмов оптимизации в методах машинного обучения. Целью работы является выявление наилучших алгоритмов оптимизации. Проведен обзор алгоритмов оптимизации, которые используются в моделях глубокого обучения. Реализованы предложенные алгоритмы оптимизации. Исследован набор тестов для сравнения различных методов.

This work is devoted to the study of optimization algorithms in machine learning methods. The aim of the work is to identify the best optimization algorithms. The optimization algorithms used in deep learning models are reviewed. The proposed optimization algorithms are implemented. The set of tests for comparing different methods is investigated.

• Перечень рисунков
  • Перечень таблиц
  • Сокращения
• Введение
• Глава 1. Обзор литературы
  • 1.1. Алгоритмы оптимизации, основанные на импульсе
• 1.1.1. Классический градиентный спуск
• 1.1.2. Классический импульс
• 1.1.3. Импульс Нестерова
  • 1.2. Адаптивные алгоритмы оптимизации
• 1.2.1. Адаптивный субградиентный спуск
• 1.2.2. Алгоритм оптимизации RMSProp
  • 1.3. Комбинации алгоритмов
    • 1.3.1. Adam
    • 1.3.2. AdaMax
  • 1.4. Методы
• 1.4.1. Модифицированный NAG
• 1.4.2. NAG совместно с Adam
  • 1.5. Выводы
• Глава 2. Реализация
• 2.1. Библиотека Keras
• 2.2. Реализация алгоритма оптимизации Nadam
• 2.3. Эксперименты
  • 2.3.1. Распознавание изображений MNIST
  • 2.3.2. Языковая модель LSTM
• 2.4. Выводы
• Глава 3. Результаты.
• 3.1. Распознавание изображений MNIST
• 3.2. Языковая модель LSTM
• 3.2. Сравнение алгоритмов оптимизации
• 3.4. Выводы
• Заключение
• Список использованных источников
• Приложение 1
• Приложение 2
• Приложение 3
• m = self.get_slot(var, 'm')
• v = self.get_slot(var, 'v')
• Приложение 4