Детальная информация

Бельтюков, Роман Константинович. Исследование и адаптация существующих алгоритмов естественного градиентного спуска к задаче Q-learning [Электронный ресурс] = Research and adaptation of existing natural gradient descent algorithms to Q-learning: выпускная квалификационная работа магистра: 02.04.03 - Математическое обеспечение и администрирование информационных систем ; 02.04.03_01 - Математическое обеспечение и администрирование корпоративных информационных систем / Р. К. Бельтюков; Санкт-Петербургский политехнический университет Петра Великого, Институт компьютерных наук и технологий ; науч. рук. О. Н. Тушканова ; консультант по нормоконтролю О. В. Колосова. — Электрон. текстовые дан. (1 файл : 1,2 Мб). — Санкт-Петербург, 2019. — Загл. с титул. экрана. — Свободный доступ из сети Интернет (чтение, печать, копирование). — Adobe Acrobat Reader 7.0. — <URL:http://elib.spbstu.ru/dl/3/2019/vr/vr19-952.pdf>. — <URL:http://doi.org/10.18720/SPBPU/3/2019/vr/vr19-952>. — <URL:http://elib.spbstu.ru/dl/3/2019/vr/rev/vr19-952-o.pdf>. — <URL:http://elib.spbstu.ru/dl/3/2019/vr/rev/vr19-952-r.pdf>. — <URL:http://elib.spbstu.ru/dl/3/2019/vr/rev/vr19-952-a.pdf>.

Дата создания записи: 18.09.2019

Тематика: машинное обучение; естественный градиентный спуск; Q-обучение; machine learning; natural gradient descent; Q-learning

Коллекции: Выпускные квалификационные работы; Общая коллекция

Ссылки: DOI; Отзыв руководителя; Рецензия; Отчет о проверке на объем и корректность внешних заимствований

Разрешенные действия: Прочитать Загрузить (1,2 Мб) Для чтения документа необходим Flash Player

Группа: Анонимные пользователи

Сеть: Интернет

Аннотация

В ходе работы было проведено исследование и адаптация алгоритма естественного градиентного спуска к задаче Q-обучения. Была выбрана и реализована архитектура агента Q-обучения, созданы и протестированы модули для проведения экспериментов, а также реализованы несколько архитектур нейронных сетей для работы с различными средами. Реализованный агент был протестирован в различных сценариях, после чего были описаны выводы и предложены рекомендации по дальнейшим исследованиям.

In the course of the work, the study and adaptation of the natural gradient descent algorithm to the q-learning problem were carried out. The Q-learning agent architecture was chosen and implemented, modules for conducting experiments were created and tested, and several neural network architectures were implemented for working with various environments. The completed agent was tested in various scenarios, after which the conclusions were described and recommendations for further research were proposed.

Права на использование объекта хранения

Место доступа Группа пользователей Действие
Локальная сеть ИБК СПбПУ Все Прочитать Печать Загрузить
-> Интернет Все Прочитать Печать Загрузить

Оглавление

  • Исследование и адаптация существующих алгоритмов естественного градиентного спуска к задаче Q-learning
    • Введение
    • 1. Естественный градиент в задаче обучения с подкреплением
    • 2. Алгоритмы Q-обучения и источники данных
    • 3. Программная реализация исследуемых алгоритмов
    • 4. Экспериментальное исследование алгоритмов
    • Заключение
    • Список использованных источников
    • Приложение 1. Сравнительная таблица фреймворков для обучения с подкреплением
    • Приложение 2. График средней награды в процессе обучения в средах Acrobot-v1 и CartPole-v1
    • Приложение 3. График средней награды в процессе обучения в средах MountainCar-v0 и LunarLander-v2
    • Приложение 4. Иллюстрации вариантов архитектур сети
    • Приложение 5. Исходный код модуля предобработки данных
    • Приложение 6. Исходный код модуля агента
    • Приложение 7. Исходный код модуля подбора гиперпараметров
    • Приложение 8. Исходный код модуля создания файлов для обучения
    • Приложение 9. Исходный код модуля визуализации
    • Приложение 10. Исходный код файла SLURM

Статистика использования документа

stat Количество обращений: 13
За последние 30 дней: 4
Подробная статистика