Детальная информация

Целью работы является разработка метода обнаружения атак на нейросетевые модели, осуществляемых с использованием генеративно-состязательных сетей. Объектом исследования являются искусственные нейронные сети, используемые в задачах компьютерного зрения, и их уязвимость к атакам, осуществляемым с применением генеративно-состязательных сетей. Задачи, решаемые в ходе исследования: 1. Изучить атаки на искусственные нейронные сети с использованием генеративных моделей. 2. Проанализировать существующие подходы к обнаружению атак на искусственные нейронные сети. 3. Разработать новый метод для обнаружения атак с использованием генеративно-состязательных сетей. 4. Создать и протестировать программный макет разработанного метода. В ходе работы были исследованы методы и архитектурные особенности генеративно-состязательных сетей, применяемых для атак на искусственные нейронные сети. Проведен обзор современных подходов к обнаружению синтетически модифицированных данных и оценке устойчивости моделей к таким воздействиям. В результате была разработана система, основанная на ансамбле предобученных нейросетевых моделей, продемонстрировавшая высокую эффективность при выявлении как известных, так и ранее не встречавшихся типов атак. Сделан вывод о недостаточной изученности методов устойчивой защиты от генерации с использованием генеративно-состязательных сетей. Полученные результаты могут быть использованы в качестве основы для построения практических решений по защите систем машинного обучения от синтетических угроз. Для достижения поставленных целей была разработана программная система, реализующая ансамблевый подход к обнаружению атак с использованием генеративно-состязательных сетей. В основе реализации лежат предобученные нейросетевые модели, дополненные средствами визуализации предсказаний и анализа метрик, что обеспечивает контроль поведения модели и интерпретируемость результатов. В процессе выполнения работы использовались современные информационные технологии и программное обеспечение, включая язык программирования Python и библиотеки TensorFlow, Keras, NumPy, Matplotlib, Seaborn, а также инструменты для построения визуальных объяснений, такие как Grad-CAM. Для хранения и обработки данных применялись локальные структуры на базе форматов .pkl и .csv, а также стандартные файловые системы. Реализация и тестирование проводились в локальной среде разработки на платформе macOS с использованием среды PyCharm. Все компоненты системы были протестированы в автономном режиме, обеспечивая воспроизводимость результатов и возможность расширения на более крупные инфраструктуры.

The purpose of the study is to develop a method for detecting attacks on neural network models carried out using generative adversarial networks (GANs). The object of the research is artificial neural networks used in computer vision tasks and their vulnerability to GAN-based attacks. The research objectives include: 1. To study attacks based on generative models. 2. To analyze existing approaches for detecting attacks on artificial neural networks. 3. To develop a new method for detecting attacks using generative-adversarial networks. 4. To design and test a software prototype implementing the proposed method. During the work various methods and architectural characteristics of generative adversarial networks (GANs) used to compromise artificial neural networks were thoroughly analyzed. The study included a comprehensive review of current detection strategies for synthetically altered data, as well as an evaluation of model robustness under such adversarial conditions. The work resulted in developing a detection system based on an ensemble of pretrained neural network architectures. This system exhibited strong performance in identifying both known and previously unseen types of attacks using generative-adversarial networks. The findings highlight that the area of robust defense mechanisms against generative manipulations remains underexplored and demands further investigation. To achieve these results, a software system was implemented that employs an ensemble-based approach to detecting attacks using generative-adversarial networks. The system is built on pretrained neural models, enhanced with prediction visualization and metric analysis tools, enabling both interpretability and behavioral monitoring of the model. In the course of this work, modern information technologies and software tools were utilized, including the Python programming language and libraries such as TensorFlow, Keras, NumPy, Matplotlib, and Seaborn, as well as visualization tools like Grad-CAM. Data storage and processing were based on local structures using .pkl and .csv formats, along with standard file system operations. The implementation and testing were conducted in a local development environment on the macOS platform using the PyCharm IDE. All components of the system were tested in standalone mode, ensuring the reproducibility of results and the potential for scaling to larger infrastructures.

• РЕФЕРАТ
• ABSTRACT
• СОДЕРЖАНИЕ
• Определения, обозначения и сокращения
• ВВЕДЕНИЕ
• 1 АТАКИ С ИСПОЛЬЗОВАНИЕМ ГЕНЕРАТИВНЫХ МОДЕЛЕЙ
  • 1.1 Понятие генеративных моделей и архитектура GAN
  • 1.2 Эволюция генеративных моделей и возможности злоупотребления
  • 1.3 Типология атак на системы МО с использованием генеративных моделей
  • 1.4 Особенности атак с использованием GAN в системах МО
  • 1.5 Примеры атак с использованием генеративных моделей в открытых исследованиях
  • 1.6 Выводы
• 2 СУЩЕСТВУЮЩИЕ ПОДХОДЫ ДЛЯ ОБНАРУЖЕНИЯ АТАК НА ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ
  • 2.1 Обзор методов обнаружения атак в системах МО
  • 2.2 Методы, ориентированные на структуру данных
  • 2.3 Архитектурные методы и обучение с защитой
  • 2.4 Обнаружение атак на основе анализа градиентов и интерпретации
  • 2.5 Сравнительный анализ существующих подходов
  • 2.6 Выводы
• 3 РАЗРАБОТКА НОВЫХ МЕТОДОВ ДЛЯ ОБНАРУЖЕНИЯ GAN-АТАК
  • 3.1 Обоснование выбранного подхода
  • 3.2 Выбор архитектур для ансамбля
  • 3.3 Интерпретируемость и обоснованность решений
  • 3.4 Схема системы обнаружения атак
  • 3.5 Методология построения ансамбля
  • 3.6 Выводы
• 4 СОЗДАНИЕ И ТЕСТИРОВАНИЕ ПРОГРАММНОГО МАКЕТА
  • 4.1 Описание используемого набора данных
  • 4.2 Подготовка данных и процесс предобработки
  • 4.3 Реализация моделей и структуры ансамбля
  • 4.4 Обучение и валидация ансамбля
    • 4.4.1 Обучение базовых моделей
    • 4.4.2 Формирование ансамбля
    • 4.4.3 Контроль метрик
  • 4.5 Оценка точности и устойчивости модели
    • 4.5.1 Основные метрики
    • 4.5.2 Результаты по моделям
    • 4.5.3 Оценка устойчивости
  • 4.6 Выводы
• ЗАКЛЮЧЕНИЕ
• СПИСОК использованных источников
• ПРИЛОЖЕНИЕ 1. ПРОГРАММНЫЙ КОД ДЛЯ СОЗДАНИЯ НАБОРА ДАННЫХ
• ПРИЛОЖЕНИЕ 2. ПРОГРАММНЫЙ КОД Обучения ансамбля моделей инс
• ПРИЛОЖЕНИЕ 3. ПРОГРАММНЫЙ КОД ДЛЯ предсказания на тестовых наборах данных