Details

Настоящая работа посвящена исследованию алгоритмов имитационного обучения для разработки автономного агента в симуляционной среде. В ходе исследования разработана программная реализация поэтапного процесса обучения агента с использованием алгоритма DAgger (Dataset Aggregation), а также представлен новый гибридный алгоритм, объединяющий подходы DAgger и GAIL (Generative Adversarial Imitation Learning). Предмет исследования: алгоритмы имитационного обучения и их применение в задачах управления агентами. Цель работы: разработка автономного агента на основе алгоритмов имитационного обучения для взаимодействия в видеоигровой среде. Методы и методология: анализ существующих алгоритмов, создание на их основе модифицированного алгоритма, разработка агента с использованием библиотек машинного обучения, тестирование на различных конфигурациях окружения, сравнительный анализ полученных результатов. Результаты: разработан автономный агент на основе имитационного обучения с применением сверточной нейронной сети, способный ориентироваться в сложной симуляционной среде. Область применения: автономные транспортные средства, робототехника, видеоигровая сфера. Выводы: предложенный алгоритм, основанный на комбинации DAgger и GAIL, позволяет ускорить процесс обучения агента за счет эффективного использования демонстраций эксперта. В сравнении с методами обучения с подкреплением, модель достигает сравнимых результатов при меньших вычислительных затратах и меньшем количестве итераций.

his study focuses on the exploration of imitation learning algorithms for developing an autonomous agent in a simulation environment. As part of the research, a step-by-step training process for an agent using the DAgger (Dataset Aggregation) algorithm was implemented, and a novel hybrid algorithm combining DAgger and GAIL (Generative Adversarial Imitation Learning) was proposed. Research subject: Imitation learning algorithms and their application in agent control tasks. Objective: Development of an autonomous agent based on imitation learning algorithms for interaction in a video game environment. Methods and methodology: Analysis of existing algorithms, development of a modified algorithm based on them, implementation of an agent using machine learning libraries, testing on various environment configurations, and comparative analysis of the obtained results. Results: An autonomous agent based on imitation learning with a convolutional neural network was developed, capable of navigating a complex simulation environment. Application areas: Autonomous transportation, robotics, video game industry. Conclusions: The proposed algorithm, based on a combination of DAgger and GAIL, accelerates the agent training process through efficient use of expert demonstrations. Compared to reinforcement learning methods, the model achieves comparable performance with lower computational costs and fewer iterations.

• Исследование и разработка алгоритмов имитационного обучения для реализации автономного поведения агента на примере видеоигровой среды
  • Введение
  • 1. Имитационное обучение
  • 2. Алгоритмы имитационного обучения
  • 3. Реализация агента
  • 4. Тестирование и апробация моделей
  • Заключение
  • Список сокращений и условных обозначений
  • Список использованных источников
  • Приложение 1. Исходный код разработанной программы