Details

Данная работа посвящена исследованию методов обучения неигровых персонажей с использованием фреймворка Unity ML-Agents, сравнению алгоритмов Proximal Policy Optimization (PPO), Soft Actor-Critic (SAC) и Multi-Agent Posthumous Credit Assignment (MA-POCA) и определению лучших сценариев для их применения. Задачи, которые решались в ходе исследования: 1) Изучение распространённых способов создания игрового искусственного интеллекта, таких как скрипты, конечные автоматы и деревья поведения, и исследование причин, по которым машинное обучение становится всё более популярным для создания неигровых персонажей. 2) Изучение теоретических и математических основ ключевых алгоритмов глубокого обучения с подкреплением. 3) Сравнительный анализ эффективности алгоритмов PPO и SAC проводимый, с помощью контролируемых экспериментов в стандартизированных тестовых средах. 4) Разработка рекомендаций для разработчиков по выбору и настройке алгоритмов в зависимости от особенностей конкретной игровой задачи. Работа проведена с использованием программного комплекса Unity для создания виртуальных сред, реализации агентов и управления процессом обучения, а также фреймворка ML-Agents Toolkit. Для глубокого обучения с подкреплением применялся Python со связкой ключевых библиотек: PyTorch (как основа для нейронных сетей в ML-Agents), TensorBoard для визуализации и мониторинга процесса обучения. Исследование включало в себя как теоретический анализ, так и практические эксперименты. На основе сравнения кривых обучения, производительности агентов и стабильности алгоритмов были разработаны практические рекомендации по выбору и использованию алгоритмов глубокого обучения с подкреплением в Unity. Для достижения данных результатов в работе были использованы следующие информационные технологии и программное обеспечение: - Интегрированная среда разработки Visual Studio и игровой движок Unity; - Фреймворк машинного обучения Unity ML-Agents Toolkit; - Менеджер пакетов и сред Anaconda; - Библиотеки машинного обучения на Python: PyTorch, NumPy; - Система визуализации и мониторинга TensorBoard.

This paper is devoted to the study of non-player character training methods using the Unity ML-Agents framework, comparing the algorithms of Proximal Policy Optimization (PPO), Soft Actor-Critic (SAC) and Multi-Agent Posthumous Credit Assignment (MA-POCA) and determining the best scenarios for their application. Tasks that were solved during the research: 1) The study of common ways to create game artificial intelligence, such as scripts, finite automata, and behavior trees, and the study of the reasons why machine learning is becoming increasingly popular for creating non-player characters. 2) Studying the theoretical and mathematical foundations of key reinforcement learning algorithms. 3) Comparative analysis of the effectiveness of the PPO and SAC algorithms conducted using controlled experiments in standardized test environments. 4) Development of recommendations for developers on choosing and configuring algorithms depending on the specifics of a particular game task. The work was carried out using the Unity software package for creating virtual environments, implementing agents and managing the learning process, as well as the ML-Agents Toolkit framework. For deep reinforcement learning, Python was used with a bunch of key libraries: PyTorch (as the basis for neural networks in ML-Agents), TensorBoard for visualizing and monitoring the learning process. The research included both theoretical analysis and practical experiments. Based on a comparison of learning curves, agent performance, and algorithm stability, practical recommendations have been developed for choosing and using reinforcement learning algorithms in Unity. To achieve these results, the following information technologies and software were used in the work: - Visual Studio integrated Development environment and Unity game engine; - Unity ML-Agents Toolkit Machine Learning Framework; - Anaconda Package and Environment Manager; - Python machine learning libraries: PyTorch, NumPy; - TensorBoard visualization and monitoring system.