Details

В работе рассматривается подход к обучению интеллектуальных агентов на основе метода «актор–критик» с использованием актора в виде рекуррентной нейросети, формирующей действия по принципам хаотической динамики. Вместо классического случайного шума актор представлен рекуррентной нейросетью, способной создавать сложные и непредсказуемые траектории для более полного исследования среды. Для контроля уровня хаоса введён механизм рефрактерности — простой способ сглаживания внутренних колебаний сети и регулировки динамики обучения. Эксперименты на задачах навигации в 2D и 3D пространствах (с и без препятствий) показали, что агент с хаотическим актором и механизмом рефрактерности быстрее находит оптимальные пути и устойчиво адаптируется к новым условиям по сравнению с традиционным подходом. В задаче классификации текстовых отзывов метод также ускорил сходимость обучения, однако специализированные модели дали более точный результат в условиях сильного дисбаланса классов. Полученные результаты подтверждают, что сочетание хаотического поведения актора и механизма рефрактерности делает процесс обучения агентов более адаптивным и быстрым. Подход перспективен для применения в робототехнике, навигации в динамичных условиях и других сценариях, требующих быстрой реакции на изменения среды.

The paper considers an approach to training intelligent agents based on the "actor–critic" method using an actor in the form of a recurrent neural network that forms actions based on the principles of chaotic dynamics. Instead of classical random noise, the actor is represented by a recurrent neural network capable of creating complex and unpredictable trajectories for a more complete study of the environment. To control the level of chaos, a mechanism of refractoriness has been introduced — a simple way to smooth out the internal fluctuations of the network and adjust the dynamics of learning. Experiments on navigation tasks in 2D and 3D spaces (with and without obstacles) have shown that an agent with a chaotic actor and a mechanism of refractoriness found optimal paths faster and steadily adapted to new environment. While the traditional approach was ineffective. In the task of classifying text reviews, the method also accelerated the convergence of learning, but specialized models gave more accurate results in conditions of severe class imbalance. The results obtained confirm that the combination of the chaotic behavior of the actor and the mechanism of refractoriness makes the learning process of agents more adaptive and faster. The approach is promising for applications in robotics, navigation in dynamic environments, and other scenarios that require rapid response to environmental changes.

• ВВЕДЕНИЕ
• ГЛАВА 1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ
  • 1.1. Описание предметной области
  • 1.2. Обоснование выбора решений
    • 1.2.1. Выбор инструментов разработки
    • 1.2.2. Обоснование выбора подхода к реализации модели
    • 1.2.3. Преимущества и перспективы выбранного подхода
  • 1.3. Целевая аудитория и применение
    • 1.3.1 Перспективы
  • 1.4. Проблемы предметной области
    • 1.4.1. Теоретические проблемы
    • 1.4.2. Вычислительные проблемы
    • 1.4.3. Практические проблемы
    • 1.4.4. Пути решения проблем
  • 1.5. Описание аналогов
  • 1.6. Выводы по первой главе
• ГЛАВА 2. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ МОДЕЛЕЙ
  • 2.1. Описание среды и постановка задачи обучения системы
  • 2.2. Архитектура актора (хаотической нейросети)
  • 2.3. Архитектура критика
  • 2.4. Выводы по второй главе
• ГЛАВА 3. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ И ЭКСПЕРЕМЕНТАЛЬНЫЙ АНАЛИЗ
  • 3.1. Программная реализация
    • 3.1.1. Класс GridNavigationEnv
    • 3.1.2. Класс ActorNetwork
    • 3.1.3. Класс CriticNetwork
    • 3.1.4. Дополнительные функции
    • 3.1.5. Основной цикл обучения
    • 3.1.6. Графики результатов
  • 3.2. Параметры
    • 3.2.1. Параметры среды (GridNavigationEnv)
    • 3.2.2. Параметры актора (ActorNetwork)
    • 3.2.3. Параметры критика (CriticNetwork)
    • 3.2.4. Глобальные параметры обучения
  • 3.3. Метрики обучения
    • 3.3.1. Средняя проекция (Mean Projection)
    • 3.3.2. Вознаграждение (Test Episode Reward)
    • 3.3.3. Количество шагов до цели (Steps to Goal)
    • 3.3.4. Финальное расстояние до цели (Final Distance)
    • 3.3.5. Средняя TD-ошибка (Temporal Difference Error)
    • 3.3.6. Энтропия активаций скрытого слоя (Activation Entropy)
    • 3.3.7. Экспонента Ляпунова (Lyapunov Exponent)
  • 3.4. Тестирование и анализ результата
    • 3.4.1. Тестирование
    • 3.4.2. Вывод по результатам тестирования
  • 3.5. Сравнение с традиционным методом
    • 3.5.1. Описание метода
    • 3.5.2. Сравнительный анализ производительности по ключевым метрикам
  • 3.6. Модификация сети: введение рефрактерности
    • 3.6.1. Что было изменено
    • 3.6.2. Проведение эксперемента
    • 3.6.3. Анализ и интерпретация
    • 3.6.4. Настроенная нейросеть с рефрактерностью
  • 3.7. Выводы по третьей главе
• ГЛАВА 4. ТЕСТИРОВАНИЕ В НОВЫХ СРЕДАХ
  • 4.1. Навигация в 2D-среде с препятствиями
    • 4.1.1. Постановка задачи и спецификация среды
    • 4.1.2. Тестирование
    • 4.1.3. Вывод по результатам тестирования
  • 4.2. Навигация в 3D-пространстве
    • 4.2.1. Описание трёхмерной среды
    • 4.2.2. Тестирование
    • 4.2.3. Вывод по результатам тестирования
  • 4.3. Классификация текстовых отзывов и сравнение результатов
    • 4.3.1. Задача
    • 4.3.2. Подготовка данных и векторизация
    • 4.3.3. Внесённые изменения
    • 4.3.4. Тестирование
    • 4.3.5. Вывод по результатам тестирования
  • 4.4. Выводы по четвертой главе
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ