Details

This study proposes an intelligent monitoring system for mine personnel safety based on multimodal artificial intelligence. By integrating multi-level convolutional neural network (CNN), OpenPose pose estimation and LSTM time series modeling technology, it realizes the real-time monitoring of the entire process of personnel positioning, pose analysis and dangerous behavior identification. The system innovatively adopts the lightweight 5-key point OpenPose model, reducing the computational cost by 45% while maintaining the fall detection accuracy of 89.8%. Combining the spatial positioning ability of CNN and the temporal modeling advantages of LSTM, a multi-dimensional risk assessment system integrating dynamic features such as human body tilt Angle and rotation energy was constructed. Eventually, a comprehensive accuracy rate of 86% was achieved in the mine simulation scene. In terms of engineering implementation, the system adopts lightweight and model pruning techniques to control the computing delay within 100ms. Actual tests show that this system can accurately identify fall behaviors and trigger hierarchical early warnings in real time, providing reliable intelligent monitoring means and safety early warning functions for the safe production of mines. It helps to improve the overall safety of mines and reduce the occurrence of safety accidents, which has important engineering application value and social benefits.

В данном исследовании предлагается интеллектуальная система мониторинга безопасности шахтного персонала на основе мультимодального искусственного интеллекта. Благодаря интеграции многоуровневой конволюционной нейронной сети (CNN), технологии оценки позы OpenPose и моделирования временных рядов LSTM, она обеспечивает мониторинг в реальном времени всего процесса позиционирования персонала, анализа позы и идентификации опасного поведения. В системе применена облегченная модель OpenPose с 5 ключевыми точками, что позволило сократить вычислительные затраты на 45%, сохранив при этом точность обнаружения падений на уровне 89,8%. Объединив возможности пространственного позиционирования CNN и преимущества временного моделирования LSTM, была создана многомерная система оценки риска, интегрирующая такие динамические характеристики, как угол наклона человеческого тела и энергия вращения. В конечном итоге была достигнута комплексная точность 86 % в сцене моделирования шахты. С точки зрения технической реализации, система использует методы облегчения и обрезки моделей для управления задержкой вычислений в пределах 100 мс. Фактические испытания показывают, что эта система может точно определять поведение при падении и запускать иерархические ранние предупреждения в реальном времени, обеспечивая надежные интеллектуальные средства мониторинга и функции раннего предупреждения для безопасного производства в шахтах. Она помогает повысить общую безопасность шахт и снизить количество несчастных случаев, что имеет важное прикладное значение для техники и приносит пользу обществу.

• ASSIGNMENT for graduate thesis
  • 1. Thesis title:
• ABSTRACT
• РЕФЕРАТ
• INTRODUCTION
• 1 Literature Review
  • 1.1 Historical development of the study
  • 1.2 Main theories of the study
  • 1.3 Main methodology of the study
  • 1.4 Status and problems of the study
• 2 Introduction to Research Methods
  • 2.1 Introduction to OpenPose
  • 2.2 Key technologies in OpenPose
    • 2.2.1 Introduction to Confidence Maps
    • 2.2.2 Introduction to Part Affinity Fields (PAFs)
    • 2.2.3 Introduction to Hungarian algorithm
  • 2.3 Introduction to Multi-stage CNN architecture
  • 2.4 Introduction to LSTM
    • 2.4.1 The limitations of traditional RNNS
    • 2.4.2 An overall architecture introduction of LSTM
    • 2.4.3 The model structure of LSTM
• 3 System architecture design
  • 3.1 Tool and framework selection
  • 3.2 Input Module
  • 3.3 Personnel positioning Module
  • 3.4 Pose Feature Calculator module
    • 3.4.1 Basic spatial feature
    • 3.4.2 Body posture features
    • 3.4.3 Dynamic motion feature
  • 3.5 Behavior Detection and Security Warning module
    • 3.5.1 The overall process of behavior detection
    • 3.5.2 LSTM Network Training and Optimization
    • 3.5.3 Prediction results and early warning generat
• 4 Model performance evaluation and analysis
  • 4.1 Model performance evaluation and optimization
  • 4.2 OpenPose performance analysis
  • 4.3 Evaluation of the trained LSTM model
• 5 Related technology introduction
  • 5.1 YOLO introduction
    • 5.1.1 Network framework for one stage detector and
    • 5.1.2 The YOLO Detection System
    • 5.1.3 Class confidence score
    • 5.1.4 The Architecture
    • 5.1.5 Bounding boxes with dimension priors and loc
  • 5.2 Deep SORT algorithm technology introduction
  • 5.3 RCNN principle
  • 5.4 RCNN structure
  • 5.5 Problems with RCNN
  • 5.6 RCNN development: Fast RCNN and Faster RCNN
  • 5.7 Correlation technology comparison
• MODEL RESULT
• CONCLUSION
• REFERENCE LIST
• APPENDIX A
• (references)
• The main code for fall detection