Details

Данная работа посвящена созданию приложения, объединяющего инструменты трехмерного моделирования помещений и алгоритмы компьютерного зрения для мониторинга посетителей в реальном времени. Задачи, решаемые в ходе работы: • проанализировать существующие методы и решения в области анализа посещаемости торговых залов; • исследовать теоретические основы моделирования, компьютерного зрения, обнаружения и отслеживания объектов; • разработать архитектуру системы моделирования и анализа посещаемости на основе видеоданных; • обосновать выбор алгоритмов и технологических решений для реализации системы; • реализовать ключевую функциональность и протестировать ее. Исследованы методы глубокого обучения и проективной геометрии. Обнаружение людей на видеопотоке выполняется нейросетью семейства YOLO, а задача многообъектного трекинга решена с помощью алгоритма ByteTrack. Пространственное сопоставление реализовано посредством гомографического преобразования сцены.  В результате работы спроектирована архитектура и реализован программный прототип системы. Разработан интерактивный 3D-редактор на базе React и Three.js для интерактивного моделирования залов и расстановки камер, а также серверный модуль с использованием фреймворка FastAPI. Настроен интерфейс для подсчета посетителей и генерации тепловых карт.  Область применения результатов охватывает розничную торговлю. Внедрение системы позволяет оптимизировать планировку залов и расстановку оборудования. В заключении сделан вывод, что интеграция 3D моделирования и компьютерного зрения обеспечивает качественный мониторинг поведения клиентов на базе стандартной инфраструктуры видеонаблюдения без привлечения дорогостоящего оборудования.

This thesis focuses on the creation of an application that combines 3D room modeling tools with computer vision algorithms to monitor visitors in real time. Objectives of the project: • Analyze existing methods and solutions for analyzing foot traffic in retail spaces; • Investigate the theoretical foundations of modeling, computer vision, and object detection and tracking; • Develop the architecture of a system for modeling and analyzing foot traffic based on video data; • Justify the selection of algorithms and technological solutions for implementing the system; • Implement key functionality and test it. We investigated deep learning methods and projective geometry. People are detected in the video stream using a neural network from the YOLO family, and the multi-object tracking task is solved using the ByteTrack algorithm. Spatial alignment is achieved through a homographic transformation of the scene.  As a result of this work, the system architecture was designed and a software prototype was developed. An interactive 3D editor based on React and Three.js was created for interactive modeling of rooms and camera placement, as well as a server side module using the FastAPI framework. An interface was configured to count visitors and generate heat maps.  The results are applicable to the retail sector. Implementing the system enables the optimization of store layouts and equipment placement. The study concludes that the integration of 3D modeling and computer vision enables effective monitoring of customer behavior using standard video surveillance infrastructure, without the need for expensive equipment.