Details

Тема выпускной квалификационной работы: «Распознавание железнодорожного полотна в видеопотоке». Данная работа посвящена исследованию архитектур нейронных сетей для сегментации объектов в видеопотоке. Целью данной работы является разработка архитектуры нейронной сети с использованием временной информации из видеопотока для улучшения распознавания железнодорожного полотна на удалении более 150 метров от локомотива, на котором установлена камера слежения. А также написание программы для потоковой обработки видео. Основа архитектуры нейронной сети и метод распознавания железнодорожного полотна были взяты из статьи «Railroad semantic segmentation on high-resolution images» 2020 года за авторством С. Беляева. Был проведён анализ нескольких архитектур нейронных сетей для сегментации объектов в видеопотоке с использованием разных методов для получения информации с предыдущих кадров. В результате было разработано несколько архитектур нейронных сетей для распознавания железнодорожного полотна в видеопотоке: с использованием оптического потока, с использованием модулей распространения внимания, с использованием модуля памяти. В данной работе описаны архитектуры нейронных сетей и сравнение точности описанных подходов с сегментацией каждого кадра независимо от предыдущих. По результатам проведённой работы можно судить об эффективности применения методов использования временной информации по сравнению с наивным применением модели семантической сегментации изображения покадровым способом.

The subject of the graduate qualification work is «Railroad recognition in the video stream». This work is devoted to the study of neural network architectures for segmentation of objects in the video stream. The purpose of this work is to develop a neural network architecture using temporal information from the video stream to improve segmentation of a railroad at the distance of more than 150 meters from the locomotive on which the tracking camera is installed and to write a program for streaming video processing. The basis of the neural network architecture and the railroad recognition method were taken from an article «Railroad semantic segmentation on high-resolution images» S. Belyaev, 2020. An analysis was made of several architectures of neural networks for a video semantic segmentation, using different methods to obtain information from previous frames. As a result, several neural network architectures have been developed to recognize the railroad in the video stream: with usage of optical flow, with usage of attention propagation modules, with usage of memory module. This paper describes the architectures of neural networks and compares the accuracy of the described approaches with the segmentation of each frame, regardless of the previous ones. According to the results of the work carried out, one can estimate the effectiveness of the methods of using temporal information in a comparison with naive application of an image semantic segmentation model in a frame-by-frame manner.