Виртуальная примерка – перспективное и быстрорастущее направление глубокого обучения, которое направлено на преобразование внешнего вида человека путём добавления новых признаков (макияжа, париков), а также изменения существующих (одежды). В данной работе рассмотрены наиболее популярные и значимые методы виртуальной примерки одежды. В качестве основного алгоритма была выбрана нейронная сеть PF-AFN, демонстрирующая наилучшие результаты при наименьших требованиях к входным данным. В процессе работы над выбранным алгоритмом было найдено множество ограничений существующей реализации, в связи с чем она была модифицирована с учётом современных методов оптимизации, таких как обучение со смешанной точностью и распределённое распараллеливание данных. При этом оптимизация не повлияла на качество итогового результата, как показали вычисленные метрики. Для демонстрации применимости метода в промышленных решениях было разработано простое веб-приложение, позволяющее любому пользователю примерить интересующий элемент гардероба.

Virtual Try-on is a promising and fast-growing area of deep learning, which aims to transform the human appearance by adding new features (makeup, wigs), as well as changing existing ones (clothes). This paper considers the most popular and meaningful methods of virtual try-on clothes. The PF-AFN neural network was chosen as the main algorithm, which demonstrates the best results with the smallest input data requirements. During the work on the selected algorithm, many limitations of the existing implementation were found, so it was modified to take into account modern optimization methods, such as mixed precision learning and distributed data parallelization. At the same time the optimization did not affect the quality of the final result, as shown by the calculated metrics. To demonstrate the applicability of the method to industrial solutions, a simple web application was developed, allowing any user to try on the closet item of interest.

• ВВЕДЕНИЕ
• ГЛАВА 1. ОБЗОР ТЕМЫ
  • 1.1. Глубокое обучение
  • 1.2. Virtual Try-on
  • 1.3. Анализ существующих алгоритмов
    • 1.3.1. VITON
    • 1.3.2. CP-VTON
    • 1.3.3. ACGPN
    • 1.3.4. PF-AFN
  • 1.4. Выбор архитектуры
  • 1.5. Наборы данных
    • 1.5.1. VITON
    • 1.5.2. DeepFashion
    • 1.5.3. Dress Code
  • 1.6. Выбор набора данных
• ГЛАВА 2. РЕАЛИЗАЦИЯ
  • 2.1. Обзор архитектуры PF-AFN
    • 2.1.1. Модуль деформации потока представления (Appearance Flow Warping Module)
    • 2.1.2. Модуль генерации
    • 2.1.3. Регулируемая дистилляция (перегонка) знаний
    • 2.1.4. Общий процесс обучения
  • 2.2. Метрики качества
    • 2.2.1. Structure similarity
    • 2.2.2. Inception score
    • 2.2.3. Fréchet inception distance
  • 2.3. Улучшение существующей реализации
    • 2.3.1. Mixed precision
    • 2.3.2. Распределённое распараллеливание данных
    • 2.3.3 Описание выполненной работы
  • 2.4. Обоснование выбора технологий и средств разработки
• ГЛАВА 3. РЕЗУЛЬТАТЫ
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ