Тема выпускной квалификационной работы: «Обнаружение синтетически сгенерированных изображений с использованием сверточных нейронных сетей». Целью работы является поиск готовых решений, которые в полной мере реализуют решение поставленной задачи. Предметом исследования являются современные методы глубокого обучения. Задачи, решаемые в ходе исследования: 1. Изучение информации о нейронных сетях и их архитектурах 2. Поиск существующих решений проблемы нахождения фальшивых медиаконтентов 3. Разработка модели для решения поставленной задачи 4. Сравнение результатов разработанной модели с результатами готовых решений В ходе работы проведено исследование нескольких существующих реализаций, а также создана и обучена собственная модель и проведены сравнения по различным метрикам. В результате работы была разработана модель, подобрана обучающая и тестовая выборка, продемонстрирована эффективность работы и сделан вывод, в котором указаны все преимущества и недостатки итогового решения. Полученные результаты могут быть использованы в качестве основы для обнаружения синтетически сгенерированных изображений.

Theme of the final qualification work: "Detection of synthetically generated images using convolutional neural networks". The purpose of the work is to find ready-made solutions that fully realize the solution of the task at hand. The subject of the study is modern deep learning methods. The tasks to be solved in the course work of the research are: 1. To study information about neural networks and their architectures. 2. To find several existing solutions to the problem of finding fake media content. 3. To develop our own model to solve the problem. 4. Compare the results of our own solution with the results of ready-made solutions. In the course of the work, several existing implementations were investigated, as well as our own model was created and trained and compared on various metrics. As a result of the work, the model was developed, the training and testing sample was selected, and the effectiveness of the tool was demonstrated. A conclusion was drawn, which indicated all the advantages and disadvantages of its solution. The results obtained can be used as a basis for detection of synthetically generated images.

• РЕФЕРАТ
• ABSTRACT
• Содержание
• Введение
• 1. Теоретические основы машинного обучения и разновидности атак на обученные модели.
  • 1.1 Основы машинного обучения
  • 1.2 Основные атаки на модели машинного обучения
  • 1.3 Методы синтеза Deepfake-изображений
• 2. Архитектуры нейронных сетей
  • 2.1 Основные архитектуры нейронных сетей
  • 2.2 Основные слои, используемые в нейронных сетях
• 3. Исследование существующих подходов для выявления Deepfake-контента
  • 3.1 Основные подходы для выявления Deepfake-контента
  • 3.2 Исследование существующих решений на базе машинного обучения для выявления Deepfake-контента
• 4. Реализация обнаружения deepfake изображений с помощью ансамбля нейронных сетей
  • 4.1 Подбор набора изображений
  • 4.2 Обучение и характеристики модели
  • 4.3 Архитектура Manipulation-Trace Feature Extractor
  • 4.4 Архитектура Local Anomaly Detection Network
  • 4.5 Результаты
• Заключение
• Список использованных источников