Details

Цель работы – разработка системы технического зрения беспилотного транспортного средства. Задачей системы является распознавание участников движения и других объектов, определение их положения в пространстве, отслеживание при дальнейшем движении, а также прогнозирование их положения и скорости. В рамках работы была разработана система, соответствующая поставленной задаче, на базе ROS2, при использовании YOLOX и алгоритма ByteTrack. Реализованная система использует RGB камеру и способна обнаруживать объекты на изображении, предсказывать их местоположение на экране и класс, оценивать их положение в пространстве, отслеживать, назначая уникальную метку, прогнозировать положение объектов в пространстве, сохранять устойчивость при кратковременных сбоях, а также графически отображать результаты работы элементов системы. Кроме этого, система способна работать с данными симулятора Carla, который использовался для тестирования.

The purpose of the graduate qualification work is the development of a computer vision system for an autonomous vehicle. The systems task is to recognize traffic participants and other objects, determine their position in space, track them during further movement, and predict their position and speed. In the course of this work, a system meeting the specified task was developed based on ROS2, using YOLOX and the ByteTrack algorithm. The implemented system uses an RGB camera and is capable of detecting objects in the image, predicting their location on the screen and class, estimating their position in space, tracking them by assigning a unique label, predicting the position of objects in space, maintaining stability during short-term failures, and graphically displaying the results of the systems elements. Additionally, the system can work with data from the Carla simulator, which was used for testing.