Details

Объектом исследования является система управления планирующим летательным аппаратом в условиях отсутствия оператора. Предметом исследования являются методы обучения с подкреплением, применяемые для выработки стратегии поиска и использования термических потоков при автономном управлении планером. Цель работы – разработка интеллектуальной системы управления планером, способной в автономном режиме обнаруживать термические потоки и использовать их для поддержания и набора высоты без участия оператора. Для достижения цели решены следующие задачи: проведен анализ существующих подходов к автономному управлению планирующими летательными аппаратами и методов поиска восходящих потоков; задача управления планером формализована как марковский процесс принятия решений с определением пространства состояний, пространства действий и функции вознаграждения; разработана архитектура интеллектуальной системы управления, включающая модуль телеметрии, агент на основе алгоритма PPO и подсистему управления нижнего уровня на базе ПИД-регулятора; реализована программная система, обеспечивающая взаимодействие агента с авиационным симулятором Condor 3 в режиме реального времени; проведено экспериментальное исследование процесса обучения агента с оценкой качества выработанной стратегии; выполнен сравнительный анализ разработанной системы с базовыми методами управления. Методы исследования. В работе использованы методы теории марковских процессов принятия решений, алгоритм проксимальной оптимизации политики (PPO) в архитектуре Actor-Critic, метод скользящего окна наблюдений для восстановления марковского свойства, а также методы ПИД-регулирования для низкоуровневого управления креном. Полученные результаты. Разработана двухуровневая архитектура управления: нейросетевой агент PPO (три полносвязных слоя [512, 256, 128]) принимает стратегические решения о целевом крене из трех дискретных значений (-25°, 0°, +25°) с частотой 0,5 Гц, ПИД-регулятор нижнего уровня обеспечивает исполнение команд с частотой 20 Гц. Задача формализована как марковский процесс принятия решений с пространством состояний размерностью 660 (скользящее окно 60 на 11 признаков) и многокомпонентной функцией вознаграждения. Реализован программный комплекс, обеспечивающий автономное многосессионное обучение в симуляторе Condor 3 без участия оператора. По итогам 105000 шагов обучения средний вариометр за эпизод улучшился с -1,8 до -0,52 м/с, средняя продолжительность эпизода возросла с 90 до 176 шагов. В ходе обучения выявлены и устранены две патологии: схлопывание статистики нормализатора VecNormalize и преждевременная детерминизация политики. В сравнительном эксперименте обученный агент превзошел эвристическую стратегию на основе вариометра (аналог ArduSoar) по средней продолжительности полета на 31% и по среднему вариометру на 0,42 м/с. Область применения. Результаты работы могут быть использованы при разработке бортовых систем управления реальными планирующими беспилотными летательными аппаратами, предназначенными для длительных автономных миссий мониторинга, наблюдения и ретрансляции связи без внешнего энергоснабжения.

Object of study: a control system for a gliding aircraft operating without a human operator. Subject of study: reinforcement learning methods used to develop a strategy for searching and exploiting thermal updrafts during autonomous glider control. Objective: to develop an intelligent glider control system capable of autonomously detecting thermal updrafts and using them to maintain and gain altitude without operator involvement. To achieve this objective, the following tasks were solved: a review of existing approaches to autonomous glider control and updraft-search methods was conducted; the glider control problem was formalized as a Markov decision process with a defined state space, action space, and reward function; an architecture for the intelligent control system was developed, comprising a telemetry module, a PPO-based agent, and a low-level PID control subsystem; a software system enabling real-time interaction between the agent and the Condor 3 flight simulator was implemented; an experimental study of the agent training process was conducted with an assessment of the resulting strategy; a comparative analysis of the developed system against baseline control methods was performed. Research methods: Markov decision process theory, the Proximal Policy Optimization (PPO) algorithm within an Actor–Critic architecture, a sliding observation window to restore the Markov property, and PID control methods for low-level bank-angle control. Results. A two-level control architecture was developed: a PPO neural-network agent (three fully connected layers [512, 256, 128]) issues strategic bank-angle commands from three discrete values (-25°, 0°, +25°) at 0.5 Hz, while a low-level PID controller executes them at 20 Hz. The task was formalized as a Markov decision process with a 660-dimensional state space (a 60 to 11 sliding observation window) and a multi-component reward function. A software complex was implemented that enables autonomous, multi-session training in the Condor 3 simulator without operator involvement. After approximately 105,000 training steps, the mean variometer reading per episode improved from -1.8 to -0.52 m/s, and the mean episode length increased from 90 to 176 steps. Two training pathologies were identified and resolved during training: VecNormalize statistics collapse and premature policy determinization. In a comparative experiment, the trained agent outperformed a variometer-based heuristic strategy (an ArduSoar analogue) by 31% in mean flight duration and by 0.42 m/s in mean variometer reading. Application domain. The results can be applied to the development of onboard control systems for real gliding unmanned aerial vehicles intended for long-duration autonomous monitoring, surveillance, and communication relay missions without external power sup.

• ABSTRACT
• ВВЕДЕНИЕ
• Глава 1. Анализ предметной области
  • 1.1 Планирующие летательные аппараты и аэрология
  • 1.2 Обзор существующих подходов к автономному управлению планером
  • 1.3 Методы обучения с подкреплением
    • 1.3.1 Марковский процесс принятия решений
    • 1.3.2 Методы оценки функции ценности
    • 1.3.3 Алгоритм DQN
    • 1.3.4 Алгоритм A3C
    • 1.3.5 Архитектура Actor – Critic
    • 1.3.6 Алгоритм PPO
    • 1.3.7 Обоснование выбора PPO для задачи автономного парения
  • 1.4 Выводы по разделу 1
• Глава 2. Разработка интеллектуальной системы управления
  • 2.1 Архитектура системы
  • 2.2 Модуль телеметрии
  • 2.3 Формализация задачи как марковского процесса принятия решений
  • 2.4 Подсистема управления нижнего уровня
  • 2.5 Конфигурация алгоритма PPO
  • 2.6 Управление эпизодами обучения
• Глава 3. Экспериментальное исследование
  • 3.1 Конфигурация эксперимента
  • 3.2 Метрики оценки
    • 3.2.1 Физические метрики полетной стратегии.
    • 3.2.2 Оптимизационные метрики
    • 3.2.3 Интерпретация вознаграждения при изменении его функции
  • 3.3 Анализ процесса обучения
  • 3.4 Анализ выбранной стратегии управления
  • 3.5 Выводы по разделу 3
• ЗАКЛЮЧЕНИЕ
• СПИСОК ЛИТЕРАТУРЫ
• Приложение А. Листинг основного цикла взаимодействия