Details

Объектом исследования являются методы кросс-модального поиска изображений по тексту. Цель работы - разработать и экспериментально оценить подсистему поиска визуальных состояний технических объектов по кратким фрагментарным текстовым запросам на основе модели CLIP. В работе используется двухуровневая схема проверки: Flickr30K-AUG применяется для исследования полных описаний, тегов, фраз, триплетов и фрагментов, а Construction-PPE - для прикладной проверки в области строительной безопасности. Основные результаты работы включают программную реализацию подсистемы, подготовку данных, контролируемое дообучение CLIP и оценку качества по метрикам Recall@K, MRR, mAP и nDCG. Область применения результатов - вспомогательные модули поиска изображений в системах визуального мониторинга и контроля средств индивидуальной защиты.

The research focuses on cross-modal image retrieval by text query. The goal of the work is to develop and experimentally evaluate a subsystem for retrieving visual states of technical objects using short fragmentary text queries and the CLIP model. The work uses a two-level evaluation scheme: Flickr30K-AUG is used to study captions, tags, phrases, triples and fragments, while Construction-PPE is used for an applied construction safety scenario. The main results include the software implementation of the subsystem, dataset preparation, supervised fine-tuning of CLIP and quality evaluation using Recall@K, MRR, mAP and nDCG.

• ВВЕДЕНИЕ
• 1. АНАЛИЗ ЗАДАЧИ И ОБЗОР СУЩЕСТВУЮЩИХ РЕШЕНИЙ
  • 1.1. Кросс-модальный поиск изображений по тексту
  • 1.2. Проблема кратких фрагментарных запросов
  • 1.3. Обзор датасетов и метрик
  • 1.4. Анализ прикладного сценария
  • 1.5. Постановка задачи
  • Выводы по главе 1
• 2. ПРОЕКТИРОВАНИЕ И РЕАЛИЗАЦИЯ ПОДСИСТЕМЫ
  • 2.1. Общая структура подсистемы поиска
  • 2.2. Построение базового датасета Flickr30K-AUG
    • 2.2.1. Генерация ключевых тегов (tags)
    • 2.2.2. Генерация объектных фраз (phrases)
    • 2.2.3. Генерация триплетов отношений (triples)
    • 2.2.4. Генерация семантических фрагментарных предл
  • 2.3. Преобразование Construction-PPE из detection
    • 2.3.1. Подход к формированию статусных меток
    • 2.3.2. Подход к созданию retrieval-запросов
    • 2.3.3. Формирование соответствия “один query — нес
    • 2.3.4. Итоговый формат данных и его роль
  • 2.4. Базовая модель CLIP и схема контролируемого д
    • 2.4.1. Выбранная базовая модель
    • 2.4.2. Цель контролируемого дообучения
    • 2.4.3. Функция потерь и способ обучения
    • 2.4.4. Текстовые режимы обучения
    • 2.4.5. Гиперпараметры обучения
  • 2.5. Процесс инференса и методы оценки качества
    • 2.5.1. Подход к извлечению признаков изображений и
    • 2.5.2. Вычисление сходства и ранжирование результа
    • 2.5.3. Логика оценки на базовом исследовательском
    • 2.5.4. Логика оценки на уровне прикладной верифика
    • 2.5.5. Значение всего процесса инференса и оценки
  • 2.6. Формальное определение Recall@K, MRR, mAP и n
    • 2.6.1. Recall@K
    • 2.6.2. MRR
    • 2.6.3. mAP
    • 2.6.4. nDCG
  • Выводы по главе 2
• 3. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ И ПРИКЛАДНАЯ ПРО
  • 3.1. Условия проведения экспериментов
  • 3.2. Эксперименты на Flickr30K-AUG
    • 3.2.1. Цель эксперимента
    • 3.2.2. Схема эксперимента
    • 3.2.3. Результаты на Flickr30K-AUG
  • 3.3. Эксперименты на Construction-PPE
    • 3.3.1. Цель прикладной проверки
    • 3.3.2. Результаты на Construction-PPE
  • 3.4. Сравнительный анализ результатов
    • 3.4.1. Влияние кратких запросов
    • 3.4.2. Влияние контролируемого дообучения
    • 3.4.3. Перенос на прикладной домен
  • 3.5. Анализ ошибок и ограничений
  • 3.6. Практические рекомендации по использованию по
  • Выводы по главе 3
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
• ПРИЛОЖЕНИЕ 1. Примеры записей Flickr30K-AUG
• ПРИЛОЖЕНИЕ 2. Список запросов Construction-PPE
• ПРИЛОЖЕНИЕ 3. Команды запуска экспериментов и допо