Детальная информация
| Название | Система компьютерного зрения для мобильного робота на базе платформы PYNQ = Computer vision system for a mobile robot based on the PYNQ platform // Известия высших учебных заведений. Электроника. – 2025. – Т. 30, № 2. — С. 217-228 |
|---|---|
| Авторы | Конченков В. И. ; Мангушев А. В. ; Марков А. Е. |
| Выходные сведения | 2025 |
| Коллекция | Общая коллекция |
| Тематика | Вычислительная техника ; Распознавание и преобразование образов ; компьютерное зрение ; мобильные роботы ; платформа PYNQ ; программируемые логическо-интегральные системы ; логическо-интегральные системы ; ПЛИСы ; компьютерные коды ; computer vision ; mobile robots ; PYNQ platform ; programmable logic integrated systems ; logic integrated systems ; FPGA ; computer codes |
| УДК | 004.93 |
| ББК | 32.973-018.2 |
| Тип документа | Статья, доклад |
| Язык | Русский |
| DOI | 10.24151/1561-5405-2025-30-2-217-228 |
| Права доступа | Доступ по паролю из сети Интернет (чтение) |
| Ключ записи | RU\SPSTU\edoc\77099 |
| Дата создания записи | 14.10.2025 |
При использовании систем на кристалле, содержащих процессорную часть (PS-часть) и программируемую логику (PL-часть), во встраиваемых системах снижается энергопотребление и увеличивается скорость обработки данных. Проект PYNQ предоставляет платформу на основе Jupyter Notebook с API для языка Python, позволяющую взаимодействовать с элементами, размещенными в PL-части. Применение PYNQ дает возможность разделить части кода, отвечающие за взаимодействие с пользователем и аппаратными блоками, реализованными в PL-части. В работе в качестве примера использования технологии PYNQ рассмотрена задача движения робота по линии с помощью системы компьютерного зрения. Видеопоток поступает в PL-часть по интерфейсу TMDS. При применении только процессорных ядер для выделения линии на изображении данные сохраняются в ОЗУ контроллером DMA для видео (VDMA) и обрабатываются с применением библиотеки OpenCV. Подготовлено несколько конфигураций, которые демонстрируют поэтапный перенос операций обработки изображений в PL-часть. В результате сформирован конвейер, состоящий из этапов сжатия видео, преобразования из цветового пространства RGB в HSV, выделения цвета и подсчета моментов изображения. С помощью вычисления моментов определено положение центра выделенного объекта (цветной линии) в поле зрения камеры. Проведено сравнение производительности обработки видеопотока только процессорными ядрами (PS-частью) и комбинацией процессорных ядер и ПЛИС (PL- и PS-частей) рассматриваемой системы на кристалле. Выявлено существенное повышение производительности в PL-части по сравнению с полной обработкой в PS-части. Представленный модуль поиска цветной линии можно использовать в составе робота, ориентирующегося по данным лидара и стереокамеры.
The use of systems on a chip (SoC) including the processor part (PS part) and programmable logic (PL part) in embedded systems lowers power consumption and increases data processing speed. The PYNQ project provides a Jupyter Notebook-based platform with a Python API that allows the interaction with elements placed in the PL part. Using PYNQ makes it possible to separate the parts of the code responsible for user interaction and the hardware blocks implemented in the PL part. In this work, the problem of moving a robot along a line using a computer vision system is considered as an example of PYNQ technology use. The video stream enters the PL part via the TMDS interface. When using only processor cores for line allocation on image, data is stored in RAM by the DMA Video controller (VDMA) and processed using the OpenCV library. Several configurations were prepared that demonstrate the phased transfer of image processing operations to the PL part. As a result, a pipeline has been formed that includes the stages of video compression, conversion from RGB color space to HSV, color extraction and counting of image moments. Using moments, the position of the center of the selected object (colored line) in the field of view of the camera was determined. The performance of processing a video stream with only processor cores (PS part) and a combination of processor cores and FPGAs (PL and PS parts) of the SoC under consideration was compared. The substantial performance increase in PL part has been detected in relation to variant of full processing in PS part. The presented colored line detection module can be used as part of a robot oriented by lidar and stereogram camera data.
Количество обращений: 58
За последние 30 дней: 15
