В ходе работы было проведено исследование и адаптация алгоритма естественного градиентного спуска к задаче Q-обучения. Была выбрана и реализована архитектура агента Q-обучения, созданы и протестированы модули для проведения экспериментов, а также реализованы несколько архитектур нейронных сетей для работы с различными средами. Реализованный агент был протестирован в различных сценариях, после чего были описаны выводы и предложены рекомендации по дальнейшим исследованиям.

In the course of the work, the study and adaptation of the natural gradient descent algorithm to the q-learning problem were carried out. The Q-learning agent architecture was chosen and implemented, modules for conducting experiments were created and tested, and several neural network architectures were implemented for working with various environments. The completed agent was tested in various scenarios, after which the conclusions were described and recommendations for further research were proposed.

• Исследование и адаптация существующих алгоритмов естественного градиентного спуска к задаче Q-learning
  • Введение
  • 1. Естественный градиент в задаче обучения с подкреплением
  • 2. Алгоритмы Q-обучения и источники данных
  • 3. Программная реализация исследуемых алгоритмов
  • 4. Экспериментальное исследование алгоритмов
  • Заключение
  • Список использованных источников
  • Приложение 1. Сравнительная таблица фреймворков для обучения с подкреплением
  • Приложение 2. График средней награды в процессе обучения в средах Acrobot-v1 и CartPole-v1
  • Приложение 3. График средней награды в процессе обучения в средах MountainCar-v0 и LunarLander-v2
  • Приложение 4. Иллюстрации вариантов архитектур сети
  • Приложение 5. Исходный код модуля предобработки данных
  • Приложение 6. Исходный код модуля агента
  • Приложение 7. Исходный код модуля подбора гиперпараметров
  • Приложение 8. Исходный код модуля создания файлов для обучения
  • Приложение 9. Исходный код модуля визуализации
  • Приложение 10. Исходный код файла SLURM