Детальная информация

Работа посвящена задаче автоматического выявления семантически схожих карточек товаров на маркетплейсах. Цель – разработка мультимодального алгоритма поиска одинаковых объектов по тексту и изображению без ручной разметки. Использован интегративный подход, сочетающий обработку текстовых и визуальных признаков. Применены модели FRIDA (текст), EfficientNet-B7 (изображения), BLIP (image captioning), а также векторная база данных Milvus для индексации и поиска. Разработан пайплайн мультимодального сопоставления: от сбора данных с маркетплейса Ozon до генерации признаков, их агрегации и поиска схожих объектов. Проведено сравнение моделей и построена метрика семантической близости. Выявлено, что агрегированные признаки повышают точность поиска и устойчивость к шуму. Результаты могут быть использованы в рекомендательных системах, на платформах электронной коммерции, в службах модерации контента, интеллектуальных поисковых механизмах, а также в задачах очистки и объединения товарных карточек, улучшения поисковой выдачи и повышения ассортимента. Мультимодальный подход, включающий обработку текста и изображений, позволяет эффективно выявлять дубликаты товаров без обучения на размеченных данных. Использование моделей FRIDA и EfficientNet-B7 показало высокую точность в условиях семантической вариативности и визуального шума.

This thesis addresses the problem of identifying semantically similar prod-uct listings on online marketplaces. The goal is to develop a multimodal unsu-pervised algorithm for search products based on text and image data. An integrative approach was applied, combining textual and visual data processing. The FRIDA model was used for text embeddings, EfficientNet-B7 for image features, BLIP for image captioning, and the Milvus vector database for indexing and similarity search. A complete multimodal pipeline was implemented: from Ozon marketplace data parsing to feature extraction, aggregation, and semantic comparison. Evalu-ation showed that aggregated representations significantly improved accuracy and robustness. The results can be used for product catalog deduplication, improving search relevance, and enhancing diversity in e-commerce platforms by eliminating redundant listings. Multimodal representations that integrate text and image embeddings ena-ble accurate duplicate detection without labeled data. Pretrained models like FRIDA and EfficientNet-B7 provide high semantic sensitivity even under noisy and diverse conditions.

• ГЛОССАРИЙ
• ВВЕДЕНИЕ
• Глава 1 Аналитический обзор методов автоматического выявления семантически близких объектов
  • 1.1 Введение
  • 1.2 Метрики сходства векторов
  • 1.3 Анализ методов поиска похожих изображений
    • 1.3.1 Методы глобального анализа изображения
    • 1.3.2 Методы анализа локальных признаков изображения
    • 1.3.3 Методы извлечения ключевых точек
    • 1.3.4 Методы извлечения признаков (feature learning)
  • 1.4 Анализ методов поиска похожих текстов
    • 1.4.1 Полнотекстовый поиск
    • 1.4.2 Семантический поиск
  • 1.5 Анализ методов выделения из изображения текстового описания
  • 1.6 Мультимодальные модели в задаче дедупликации и поиска
  • 1.7 Индексация векторов
• Глава 2 Реализация
  • 2.1 Парсинг OZON / сбор датасета
  • 2.2 Обработка текстовой информации
  • 2.3 Обработка визуальной информации
  • 2.2 Мультимодальное представление объекта
  • 2.5 Реализация алгоритма поиска семантически близких объектов
  • 2.6 Алгоритм добавления новых данных
  • 2.7 Технологический стек
  • 2.8 Вычислительная инфраструктура
• Заключение
• Список использованых источников
• Приложение А. Структура таблиц PostgreSQL