Details

Целью работы является разработка алгоритма по сопровождению объекта интереса с использованием модели CLIP. Задачей алгоритма является достоверное распознавание описанного при помощи текста объекта и дальнейшее его сопровождение. Был проведён поиск наборов данных, которые содержат видеопоследовательности, снятые с БПЛА. В работе разработаны и исследованы различные модели и алгоритмы, разработанные для отслеживания объекта. Произведён анализ модели CLIP, разобран используемый набор данных, а также реализованы подходящие метрики для определения качества разработанного алгоритма. Приведены примеры работы алгоритма, с подробным описанием каждого шага.

The goal of the work is to develop an algorithm for tracking an object of interest using the CLIP model. The task of the algorithm is to reliably recognize an object described using text and further track it. A search was conducted for datasets that contain video sequences taken from UAVs. The work developed and investigated various models and algorithms designed for object tracking. An analysis of the CLIP model was performed, the dataset used was disassembled, and appropriate metrics were implemented to determine the quality of the developed algorithm. Examples of the algorithms work are given, with a detailed description of each step.