Детальная информация

Тема выпускной квалификационной работы: «Анализ особенностей применения детекторов ключевых точек для сопоставления радиолокационных изображений». Объект исследования – детекторы и дескрипторы ключевых точек. Цель работы – анализ существующих детекторов и дескрипторов ключевых точек и выбор перспективного метода. В результате исследования был проведён анализ некоторых классических и нейросетевых детекторов и дескрипторов на изображениях из трёх наборов данных, а также на изображениях, подвергнутых различным искажениям. На основе точности сопоставления изображений было выполнено сравнение работы алгоритмов. Результатом работы является выбор наиболее перспективного детектора и дескриптора для сопоставления изображений по ключевым точкам. Использовались открытые образовательные ресурсы и программы поиска и анализа информации.

The topic of the final qualifying work is "Analysis of the application features of key point detectors for comparing radar images". The object of the study is detectors and descriptors of key points. The purpose of the work is to analyze existing detectors and descriptors of key points and select a promising method. As a result of the study, some classical and neural network detectors and descriptors were analyzed on images from three datasets, as well as on images subjected to various distortions. Based on the accuracy of image matching, a comparison of the algorithms was performed. The result of the work is the selection of the most promising detector and descriptor for image matching by key points. Open educational resources and information search and analysis programs were used.

• The topic of the final qualifying work is "Analysis of the application features of key point detectors for comparing radar images".
• The object of the study is detectors and descriptors of key points.
• The purpose of the work is to analyze existing detectors and descriptors of key points and select a promising method.
• As a result of the study, some classical and neural network detectors and descriptors were analyzed on images from three datasets, as well as on images subjected to various distortions. Based on the accuracy of image matching, a comparison of the algo...
• The result of the work is the selection of the most promising detector and descriptor for image matching by key points.
• Open educational resources and information search and analysis programs were used.
• ОГЛАВЛЕНИЕ
• ВВЕДЕНИЕ
• Глава 1. ОБЗОР МЕТОДОВ
• О ключевых точках
• 1.1. Детектор ключевых точек SIFT
• 1.2. Детектор KAZE + MSURF
• 1.3. Multilevel attention Siamese network for keypoint detection in optical and SAR images
• 1.4. SSTA-NET
• 1.5. Прогрессивное определение ключевых точек с помощью плотной сиамской сети для регистрации изображений РЛИ
• 1.6. Выводы
• Глава 2. Реализация ИССледования
• 2.1. Набор данных
• HRSID представляет собой коллекцию радиолокационных изображений высокого разрешения, предназначенную для задач обнаружения, сегментации и идентификации объектов. Данный набор данных включает в себя радиолокационные изображения, полученные с различных ...
• Основные характеристики набора данных:
•  Разрешение изображений: варьируется, но большинство кадров имеет высокую детализацию, что позволяет использовать набор данных для задач с мелкими объектами.
•  Типы объектов: основной акцент сделан на обнаружении морских целей (корабли, суда, лодки), что делает набор данных актуальным для анализа морской обстановки с помощью SAR-технологий.
•  Различные условия съемки: изображения представлены в различных погодных условиях, при разной освещенности и с разными уровнями шума, что позволяет тестировать алгоритмы на данных с высокой изменчивостью.
• HRSID включает следующие основные компоненты:
•  Обучающая выборка (Train Set) – изображения, размеченные аннотациями с границами объектов.
•  Тестовая выборка (Test Set) – используется для валидации и тестирования алгоритмов.
•  Файлы аннотаций – содержат координаты ограничивающих рамок (bounding boxes) объектов на изображениях в формате .xml и .json.
• Использование HRSID в исследовании
• Набор данных HRSID будет использован для:
• 1. Оценки работы алгоритмов обнаружения ключевых точек – анализируемые методы будут протестированы на изображениях из HRSID для выявления устойчивых особенностей в условиях спекл-шума и изменяемых параметров съемки.
• 2. Сравнения детекторов и дескрипторов – HRSID содержит разнообразные сцены, что позволит оценить точность и стабильность сопоставления ключевых точек различными методами.
• 3. Выбора оптимального метода обработки радиолокационных изображений – будет проведен анализ качества работы алгоритмов, их устойчивости к шуму и эффективности вычислений.
• Использование HRSID в экспериментальной части исследования позволит проверить применимость существующих алгоритмов для обработки SAR-изображений, а также сформулировать рекомендации по выбору наиболее эффективных методов для анализа радиолокационных д...
• 2.2. Выбор метрики для оценивания качества сопоставления
• При оценке методов сопоставления изображений по ключевым точкам важно учитывать не только количество найденных соответствий, но и их качество. Одной из наиболее информативных метрик для анализа бинарных классификационных задач, к которым относится и с...
• Метрика Precision-Recall особенно полезна в задачах, где неравномерное распределение классов (например, небольшое число истинных совпадений среди множества возможных точек). Это делает её более подходящей для анализа методов сопоставления, чем, наприм...
• Определение Precision и Recall
• Метрика Precision-Recall основывается на двух ключевых показателях:
•  Precision (точность) – доля корректных совпадений среди всех найденных соответствий:
• Precision = ,𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒-𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒+𝐹𝑎𝑙𝑠𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒.
• где:
•  True Positive – число правильных совпадений ключевых точек,
•  False Positives – число ошибочных совпадений (ложные соответствия).
•  Recall (полнота) – доля правильно найденных соответствий относительно всех существующих истинных совпадений:
• Recall=,𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒-𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒+𝐹𝑎𝑙𝑠𝑒 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒.
• где: (1)
•  False Negative – число пропущенных корректных совпадений
• В рамках данного исследования метрика Precision-Recall будет использоваться для:
•  Оценки качества сопоставления ключевых точек между радиолокационными изображениями.
•  Сравнения различных методов обнаружения и сопоставления (классических и нейросетевых).
•  Выбора оптимального алгоритма, обеспечивающего баланс между высокой точностью и полной идентификацией соответствий.
• Метрика Precision-Recall является одной из ключевых для оценки качества сопоставления изображений, так как позволяет учитывать точность найденных соответствий и полноту их детекции. В отличие от простых показателей, таких как доля корректных совпадени...
• 2.3. Вывод
• Глава 3. Анализ и сравнение методов
• 3.1. Результаты исследования и сравнение подходов
• На табл. 1 представлены результаты, основанные на результатах из научных статей.
• Таблица 1.
• Результаты сравнения методов
  • 3.1.1 Сравнение при повороте изображения
• На рис. 15 представлено сравнение пяти методов детектирования и сопоставления ключевых точек при изменении угла поворота изображений. Наилучшие результаты демонстрируют нейросетевые методы SKD-NET и SS-NET, однако точность их сопоставлений постепенно ...
• Рис. 15. Результаты сравнения при изменении угла
  • 3.1.2. Сравнение при изменении масштабирования
• На рис. 16 показано, как изменяется точность работы методов при масштабировании изображений. Все нейросетевые подходы сохраняют более высокую стабильность по сравнению с классическими методами. Особенно хорошо себя показывает метод SKD-NET, демонстрир...
• Рис. 16. Результаты сравнения при изменении масштабирования
  • 3.1.3. Сравнение при изменении освещенности изображений
• Рис. 17 иллюстрирует чувствительность методов к различным условиям освещения. В отличие от предыдущих тестов, здесь SAR-SIFT и PKD демонстрируют наилучшую устойчивость к освещённым и затемнённым условиям, показывая высокие значения точности. Это может...
• Рис. 17. Результаты сравнения при изменении освещенности
• 3.2. Выводы
• В данном исследовании были рассмотрены и сравнены несколько методов сопоставления изображений на основе ключевых точек: SAR-SIFT, SKD-Net+HoDM, KAZE-SAR, SS-Net+TA-Net и PKD. Основная цель заключалась в определении наиболее эффективного метода с точки...
• Заключение
• В ходе работы был проведен комплексный анализ методов сопоставления изображений на основе ключевых точек в контексте обработки радиолокационных изображений. Были рассмотрены традиционные и нейросетевые подходы, а также проведено их сравнение по ключев...
• Их сравнение проводилось по следующим критериям:
•  точность сопоставления (precision) при различных искажениях изображений (поворот, масштабирование, изменение освещённости);
•  среднеквадратичная ошибка трансформации (RMSE);
•  время выполнения.
• 1. Точность сопоставления (Precision)
• Поворот и масштабирование:
• SKD-NET уверенно лидирует, показывая precision на 25–35% выше, чем у PKD и SS-NET, и почти в 2.5–3 раза выше, чем у SAR-SIFT.
• Например, при сильном повороте последнего изображения SKD-NET дал результат 62%, тогда как SAR-SIFT — лишь 25%, что на 148% ниже.
• PKD и SS-NET идут практически на одном уровне, уступая SKD-NET в среднем на 15–20%.
• KAZE-SAR и SAR-SIFT показали наихудшие результаты — в среднем precision не превышает 35–45% при искажениях, и при этом деградирует быстрее остальных.
• Освещённость:
• Лидером стал PKD, показывая precision от 85% до 60% в зависимости от уровня искажения.
• SKD-NET и SS-NET продемонстрировали отставание от PKD в среднем на 10–15%, но остались на высоком уровне.
• SAR-SIFT и KAZE-SAR показали самые низкие значения — на последнем изображении их точность составила 20–25%, что почти в 3 раза меньше, чем у PKD.
• 2. Среднеквадратичная ошибка трансформации (RMSE)
• Методы SKD-NET и PKD демонстрируют наименьшую ошибку трансформации, с отличием всего на 0,02 (или 5.7%). Для сравнения, классический метод SAR-SIFT уступает SKD-NET более чем в 2.5 раза по RMSE.
• 3. Время выполнения
• Метод PKD существенно опережает другие по времени работы. Он быстрее SKD-NET в 5,6 раза, а SS-NET — почти в 20 раз, при этом по точности остаётся на одном уровне.
• SKD-NET — самый точный метод на всех типах искажений при умеренном времени выполнения. Он имеет самое низкое значение RMSE (0,35) и лидирует по precision на 25–40% над остальными.
• PKD — наиболее сбалансированный метод с наилучшей скоростью (6,17 с) и высоким качеством результатов. Он лидирует при изменении освещённости и показывает стабильную точность при других искажениях.
• SS-NET обладает хорошими результатами, но его высокая вычислительная нагрузка делает его менее пригодным для задач с ограниченными ресурсами.
• SAR-SIFT и KAZE-SAR уступают нейросетевым решениям почти по всем параметрам: precision ниже в 2–3 раза, RMSE выше на 150%, а время работы в случае с SAR-SIFT также значительно больше.
• Можно сделать вывод, что для задач, где важна высокая точность и допустимо умеренное время работы, рекомендуется использовать SKD-NET, а при ограничениях по вычислительным ресурсам — PKD как оптимальный по соотношению точности и производительности.
• Таким образом, был проведён комплексный анализ существующих методов для нахождения ключевых точек на РЛИ, результаты исследования могут быть применены для разработки и оптимизации систем автоматического анализа РЛИ, а также для дальнейшего совершенств...
• Список использованных источников
• 1. Бондаренко Владимир Александрович, Каплинский Глеб Эдуардович, Павлова Валерия Анатольевна, Тупиков Владимир Алексеевич Метод поиска и сопоставления ключевых особенностей изображений для распознавания образов и сопровождения объектов // Известия ЮФ...
  • 3. Flora Dellinger, Julie Delon, Yann Gousseau, Julien Michel, Florence Tupin. SAR-SIFT: A SIFT- LIKE ALGORITHM FOR SAR IMAGES. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53 (1), pp.453-466. 10.1109/TGRS.2014.2323552 . hal-00831763.
  • 4. P. Zhang and X. Yan, "Application of Improved KAZE Algorithm in Image Feature Extraction and Matching," in IEEE Access, vol. 11, pp. 122625-122637, 2023, doi: 10.1109/ACCESS.2023.3328778.