Details

Магистерская диссертация посвящена разработке аппаратного комплекса на базе ПЛИС для детектирования объектов в видеопотоке на основе нейросетевых технологий с вводом и выводом информации по высокоскоростным интерфейсам. Было проведено исследование существующих решений, на основе которых была предложена и реализована архитектура прошивки для ПЛИС. Для нахождения объектов была разработана и обучена сверточная нейросеть, далее с помощью технологий синтеза высокоуровневых языков программирования переведена в язык описания цифровой аппаратуры. Также были разработаны модули предоработки и постаобработки видеопотока, программная прошивка для встроенного процессора общего назначения. Детектирование объектов производилось в инфракрасном видеопотоке длинноволнового диапазона. Для связи ФПУ с ПЛИС использовалась переходная плата, для которой было разработано отдельное программное обеспечение. Информация по найденным объектам и обработанным кадрам выдавалась по оптическому каналу связи на хост устройство, для которого была разработана программа просмотра видео и таблицы с детектированными объектами.

The masters thesis is dedicated to the development of a hardware system based on an FPGA for object detection in a video stream using neural network technologies, with input and output of information via high-speed interfaces. A study of existing solutions was conducted, based on which an FPGA firmware architecture was proposed and implemented. A convolutional neural network was developed and trained for object detection; then, using high-level synthesis technologies, it was translated into a hardware description language. In addition, modules for pre-processing and post-processing of the video stream, as well as firmware for the embedded general-purpose processor, were developed. Object detection was performed in a long-wave infrared video stream. A transition board was used to interface the Focal Plane Array with the FPGA, for which separate software was developed. Information about the detected objects and processed frames was transmitted via an optical communication channel to a host device, for which a video viewer program and an object detection table were developed.