Details

Целью работы является разработка алгоритма детекции посторонних объектов в динамической зоне интереса трамвайных путей. Объектом исследования является задача детекции посторонних объектов в динамической зоне интереса трамвайных путей. Предметом исследования является алгоритм формирования динамической зоны интереса, показатели моделей сегментации и детекции посторонних объектов, а также скорость работы алгоритма. Практическая значимость работы заключается в обеспечении безопасности движения трамвая, создавая программное обеспечение для системы-помощника водителя трамвая, с низкими затратами на оборудование и обслуживание. В работе предложен алгоритм, обрабатывающий в реальном времени видеопоток, динамически формируя зоны интереса на основе сегментации рельс. С помощью вычисленной ширины колеи строит четыре вложенных полигона по уровню опасности. В качестве моделей сегментаторов для обучения были выбраны модели SegFormer, DeepLabV3+ с кодировщиком ResNet50 и модели семейства YOLO-seg. В качестве моделей детекторов были исследованы модели YOLOv8s, YOLOv11s, YOLOX. Для оценки качества сегментации были выбраны метрики mIoU, mDice, а в качестве метрик для оценки детекции были проверены mAP50, mAP50−95, Precisionи Recall. В результате выполнения работы был реализован алгоритм с точностью сегментации рельс в пределах IoU ∈[0.76,0.93] и Dice ∈[0.86,0.96], а также точностью детекции в пределах mAP50−95 = 0.45. При средней скорости работы алгоритма около 36 кадров в секунду на процессоре Apple Silicon M3 Pro.

The aim of the work is to develop an algorithm for detecting extraneous objects in the dynamic area of interest of tram tracks. The object of the study is the task of detecting extraneous objects in the dynamic area of interest of tram tracks. The subject of the study is the algorithm for forming a dynamic zone of interest, indicators of segmentation and detection models of extraneous objects, as well as the speed of the algorithm. The practical significance of the work lies in ensuring the safety of tram traffic by creating software for the tram driver’s assistant system, with low equipment and maintenance costs. The paper proposes an algorithm that processes a video stream in real time, dynamically forming areas of interest based on rail segmentation. Using the calculated track width, it builds four nested polygons by level of danger. SegFormer, DeepLabV3+ models with ResNet50 encoder, and YOLO-seg family models were selected as segmentation models for training. The YOLOv8s, YOLOv11s, and YOLOX models were studied as detector models. The metrics mIoU and mDice were selected to evaluate the quality of segmentation , and mAP50, mAP50−95, Precision, and Recall were tested as metrics for evaluating detection. As a result of the work, an algorithm was implemented with rail segmentation accuracy within IoU ∈[0.76,0.93], and Dice ∈[0.86,0.96], as well as detection accuracy within mAP50−95 = 0.45. With an average algorithm speed of about 36 frames per second on an Apple Silicon M3 Pro processor.

• ВВЕДЕНИЕ
• 1. ОБЗОР ПРЕДМЕТНОЙ ОБЛАСТИ
  • Компьютерное зрение
  • Алгоритмы распознавания объектов
    • Классические алгоритмы компьютерного зрения
    • Глубокое обучение в области компьютерного зрения
    • Распознавание объектов в видеопотоке
• Многокадровое накопление и подтверждение объектов
  • Детекторы
    • Семейство моделей YOLO
• Математическая формализация
• Функция потерь
• Основная сверточная сеть (Backbone)
• Блок агрегации признаков (Neck)
• Головная часть (Head)
• Модуль C3K2
• Модуль SPFF (Spatial Pyramid Pooling Fast)
• Механизм внимания C2PSA
  • Вычислительная эффективность
  • YOLOv5
  • YOLOv8
  • YOLOX
  • SPPF в моделях YOLO
• Архитектура и математическая модель
  • Сравнение моделей
    • Общее сравнение моделей YOLOv8, YOLOv5 и YOLOX
• Анализ и выводы
  • Сегментаторы
    • Математическое описание сегментации
    • Выбор сегментатора для последующего обучения
• DeepLabV3+ (ResNet50)
• Энкодер ResNet50
• DeepLabV3+
• SegFormer
• YOLO-seg
• YOLOv8-seg
• YOLOv11-seg
• YOLO26-seg
  • 2. МАТЕМАТИЧЕСКАЯ МОДЕЛЬ
    • Подготовка датасета
    • Стандартное обучение сегментаторов
      • Генетический алгоритм tune
      • Результаты подбора гиперпараметров
    • Обучение сегментаторов
    • Результаты обучения
      • Результаты обучения сегментатора YOLOv8n-seg
      • Результаты обучения сегментатора YOLOv8s-seg
      • Результаты обучения сегментатора YOLOv11s-seg
      • Результаты обучения сегментатора YOLO26s-seg
      • Результаты обучения SegFormer B0
      • DeepLabV3+ ResNet50
    • Анализ результатов
    • Подбор гиперпараметров библиотекой optuna для выбранной модели
    • Кросс-валидационное обучение выбранной модели
    • Проверка на тестовой выборке
    • Инференс на видеопотоке
    • Выводы по сравнению сегментаторов
  • 3. РАЗРАБОТКА АЛГОРИТМА
    • Алгоритм детекции посторонних объектов
      • Построение динамической зоны интереса
      • Интеграция детектора
• Классификация посторонних объектов
• Зависимость скорости трамвая и детекции
  • Траектория посторонних объектов
  • Логирование
  • Результаты работы алгоритма
    • Результаты построения зоны интереса в реальном времени
    • Результаты работы алгоритма на синтетических изображениях и видео
    • Примеры сохранения кадров с низкой уверенностью модели
  • Качественный анализ алгоритма
    • Временная сложность алгоритма
    • Качество детекции
    • Скорость обработки кадров
  • Выводы по работе алгоритма
  • ЗАКЛЮЧЕНИЕ
  • СПИСОК ЛИТЕРАТУРЫ
  • ПРИЛОЖЕНИЕ А