Details

Данная работа посвящена исследованию, разработке и тестированию ансамблевых методов для классификации изображений на реалистичные и синтетически сгенерированные. Задачи, которые решались в ходе работы: 1. Поиск существующих решений проблемы нахождения синтетически сгенерированных изображений. 2. Изучение информации о нейронных сетях и их архитектурах. 3. Разработка и обучение ансамблевых моделей для детекции синтетически сгенерированных изображений. 4. Сравнение эффективности ансамблей с базовыми моделями. 5. Интеграция решения в интерактивную систему. В ходе работы проведено исследование нескольких существующих реализаций, а также созданы ансамбли из мною обученных моделей и проведены сравнения по различным метрикам. Основным результатом выполнения работы является разработанный ансамблевый метод детекции дипфейков, объединяющий преимущества CNN и трансформеров. Реализованный прототип интерактивной системы на базе FastAPI позволяет автоматически проверять изображения на подлинность. Полученные результаты могут быть использованы в качестве основы для обнаружения синтетически сгенерированных изображений.

The given work is devoted to the research, development, and testing of ensemble methods for classifying images as either authentic or synthetically generated. The research set the following goals: 1. Investigation of existing solutions for detecting synthetically generated images. 2. Research of neural network architectures and their characteristics. 3. Development and training of ensemble models for synthetic image detection. 4. Comparison of ensemble effectiveness versus individual models. 5. Integration of the solution into an interactive system. The research involved analysis of multiple existing implementations, along with the creation of custom-trained ensemble models and comprehensive metric comparisons. The primary outcome of this research is an innovative ensemble method for deepfake detection that combines the strengths of CNN and Transformer architectures. The implemented prototype, built on FastAPI, enables automated authenticity verification of images. The research findings can be utilized as a basis for identifying synthetically generated imagery.

• ВВЕДЕНИЕ
• Теоретические основы
  • Основы машинного обучения
  • Методы синтеза Deepfake-изображений
    • Наложение лиц
    • Замена лиц
    • Искажения лиц
    • Наложение голоса
    • Применение к различным видам медиа-контента
  • Ансамблевые методы в машинном обучении
    • Основные типы ансамблевых методов
    • Преимущества ансамблевых методов
    • Роль ансамблей в детекции дипфейков
• Архитектуры нейронных сетей
  • Базовые компоненты нейронных сетей: типы слоев и их функции
    • Слои интеграции и нормализации
    • Слои регуляризации и специальные компоненты
    • Активационные функции и выходной слой
  • Основные типы архитектур для анализа изображений
    • Классические сверточные сети
    • Архитектуры, оптимизированные по эффективности
    • Трансформенные архитектуры
    • Специализированные архитектуры для детекции дипфейков
• Исследование существующих подходов для выявления Deepfake-контента
  • Основные подходы для выявления Deepfake-контента
  • Исследование существующих решений на базе машинного обучения
    • MTCNN + EfficientNet
    • LSTM + ResNet
• Реализация обнаружения Deepfake-изображений
  • Выбор источников данных и методы их предобработки
    • Обоснование выбора датасетов
    • Методология предобработки данных
    • Семантическая унификация и аннотация
    • Динамическая аугментация данных
    • Контроль качества и воспроизводимости
    • Сравнительный анализ с существующими решениями
  • Обучение базовых моделей
    • Архитектура EfficientNet
    • Архитектура Vision Transformer (ViT)
    • Процесс обучения и настройка гиперпараметров
    • Мониторинг качества и визуализация результатов
    • Результаты и выводы
  • Стратегии комбинирования моделей и построение ансамблей
    • Усреднение вероятностей (Average Ensemble)
    • Голосование большинства (Majority Voting)
    • Взвешенное усреднение логитов (Weighted Logits Ensemble)
    • Обучение мета-модели (Stacking)
    • Практическая реализация и интеграция
    • Заключение
• Экспериментальные результаты
  • Сравнение метрик базовых моделей
    • Анализ результатов моделей, обученных на DeepFake and Real
    • Анализ результатов моделей, обученных на DeepFake Celeba
    • Анализ результатов моделей, обученных на DeepFake vs Real
    • Кросс-датасетный анализ и выводы
  • Прирост точности и анализ затрат при использовании ансамблей
    • Сравнительный анализ стратегий ансамблирования
    • Комплексный анализ всех ансамблевых конфигураций
    • Сравнение лучших моделей и ансамблей
    • Анализ вычислительных затрат
    • Выводы и рекомендации
  • Эффективность и рекомендации по выбору ансамблевых стратегий
    • Сравнительная эффективность стратегий ансамблирования
    • Практические рекомендации
  • Интеграция в интерактивную систему
    • Архитектурные решения и компоненты системы
    • Рабочий цикл обработки запроса
    • Перспективы развития системы
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ