Details

Целью работы является разработка программной системы детекции нарушений правил безопасности на изображениях и видеоданных устьевых скважин на основе ансамбля специализированных нейросетевых моделей. В работе рассмотрены существующие системы визуального контроля, методы детекции объектов и особенности применения YOLO. Обоснован ансамблевый подход, при котором общая задача разделяется между тремя моделями: детекции касок, защитных очков и животных. Приложение поддерживает обработку изображений и видеоданных, выполняет фильтрацию предсказаний, объединяет результаты моделей и формирует итоговую визуальную разметку с текстовой сводкой найденных событий. По результатам испытаний ансамбль моделей показал стабильную работу. В ходе работы была выявлена и устранена проблема ложных срабатываний модели животных. Практическим результатом работы является программный прототип системы, позволяющий выявлять отсутствие каски, отсутствие защитных очков и присутствие животных в зоне наблюдения. Для достижения поставленных результатов были использованы следующие технологии: Python, Anaconda, PyTorch, Ultralytics YOLO, OpenCV, NumPy, Streamlit, а также формат разметки YOLO.

The purpose of the work is to develop a software system for detecting safety rule violations in images and video data from wellhead areas using an ensemble of specialized neural network models. This paper examines existing visual inspection systems, object detection methods and the specific features of YOLO’s application. It justifies an ensemble approach in which the overall task is divided among three models: for detecting helmets, safety goggles and animals. The application supports the processing of images and video data, filters predictions, combines the results of the models and generates a final visual annotation with a text summary of the detected events. Test results showed that the ensemble of models performed consistently. During the work, a problem with false positives in the animal detection model was identified and resolved. The practical outcome of the work is a software prototype of the system, enabling the detection of the absence of a helmet, the absence of safety goggles and the presence of animals within the surveillance area. The following technologies were used to achieve the desired results: Python, Anaconda, PyTorch, Ultralytics YOLO, OpenCV, NumPy, Streamlit, as well as the YOLO annotation format.

• ВВЕДЕНИЕ
• ГЛАВА 1. ОБЗОР СИСТЕМ И МЕТОДОВ ДЕТЕКЦИИ НАРУШЕНИЙ БЕЗОПАСНОСТИ
  • 1.1. Системы, решающие задачу автоматизированного контроля нарушений безопасности
  • 1.2. Обзор методов и подходов детекции объектов
  • 1.3. Обоснование ансамблевого подхода
  • 1.4. Требования к разрабатываемым средствам
    • 1.4.1. Функциональные требования
    • 1.4.2. Нефункциональные требования
• ГЛАВА 2. АРХИТЕКТУРА И МЕТОДЫ РАЗРАБОТКИ СИСТЕМЫ ДЕТЕКЦИИ НАРУШЕНИЙ
  • 2.1. Постановка задачи детекции
  • 2.2. Общая архитектура системы
  • 2.3. Ансамбль специализированных моделей
  • 2.4. Метод детекции объектов и адаптация YOLO
  • 2.5. Подготовка данных
  • 2.6. Диаграмма классов разрабатываемой системы
  • 2.7. Инструментарий разработки
• ГЛАВА 3. ПЛАНИРОВАНИЕ И РЕАЛИЗАЦИЯ СИСТЕМЫ ДЕТЕКЦИИ НАРУШЕНИЙ
  • 3.1. Планирование разработки системы
  • 3.2. Реализация моделей детекции
  • 3.3. Реализация пользовательского интерфейса
  • 3.4. Реализация обработки изображений
  • 3.5. Реализация обработки видео
  • 3.6. Реализация логики интерпретации нарушений
  • 3.7. Реализация визуализации результатов
• ГЛАВА 4. ИСПЫТАНИЯ И АНАЛИЗ РЕЗУЛЬТАТОВ РАБОТЫ СИСТЕМЫ
  • 4.1. Цель и порядок проведения испытаний
  • 4.2. Условия проведения обучения и испытаний
  • 4.3. Метрики оценки качества моделей
  • 4.4. Результаты обучения моделей
  • 4.5. Анализ матриц ошибок
  • 4.6. Проверка работы приложения на изображениях
  • ​4.7. Проверка работы системы на видеоданных
  • 4.8. Анализ выявленных ошибок и доработка модели животных
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ