Details

В ходе работы был исследована жизненный цикл AI/ML-систем и их поверхность атаки. Были проанализированы исследования в области атак на цепочки поставок для AI/ML и методы защит от них. В результате работы был построен общий вид цепочки поставок AI/ML-систем, выделены атаки, реализующиеся через цепочку поставок AI/ML-систем и предложен новый метод защиты федеративного обучения от атак отравления, на основе объединения двух существующих подходов по защите данного типа обучения. Для достижения данных результатов был разработан программный прототип, использующий технологии распараллеливания для моделирования нагрузок федеративного обучения и датасеты MNIST и CIFAR10 для тестирования предложенного способа защиты AI/ML-систем от атак отравления.

In the course of the work, the life cycle of AI/ML systems and their attack surface were investigated. Research in the field of attacks on supply chains for AI/ML and methods of protection against them were analyzed. As a result of the work, a general view of the supply chain of AI/ML systems was built, attacks implemented through the supply chain of AI/ML systems were identified, and a new method for protecting federated learning from poisoning attacks was proposed, based on the combination of two existing approaches to protecting this type of learning. To achieve these results, a software prototype was developed that uses parallelization technologies to simulate federated learning loads and MNIST and CIFAR10 datasets to test the proposed method for protecting AI/ML systems from poisoning attacks.

• РЕФЕРАТ
• ABSTRACT
• Содержание
• Определения, обозначения и сокращения
• введение
• 1 ЖИЗНЕННЫЙ ЦИКЛ И ЦЕПОЧКА ПОСТАВОК ДЛЯ AI/ML
  • 1.1 Жизненный цикл AI/ML
    • 1.1.1 Работа с данными
    • 1.1.2 Работа с моделью машинного обучение
    • 1.1.3 Использование модели
  • 1.2 Цепочка поставок для AI/ML
  • 1.3 Выводы
• 2 атаки на цепочку поставок и методы защиты Цепочек поставок
  • 2.1 Атаки на данные
    • 2.1.1 Отравляющие атаки
    • 2.1.2 Состязательные Атаки
  • 2.2 Атаки на модели
    • 2.2.1 Атаки с использованием "весового отравления"
    • 2.2.2 BadNets
    • 2.2.3 Атаки кража модели
  • 2.3 Атаки на исходный код
  • 2.4 Защита от атак на данные
  • 2.5 Защита от атак на модели
    • 2.5.1 Защита от отравления модели
    • 2.5.2 Защита от кражи модели
  • 2.6 Защита от атак на исходный код
  • 2.7 Выводы
• 3 Предлагаемый способ защиты
  • 3.1 Способ фильтрации
  • 3.2 Способ надежного агрегирования
  • 3.3 Выводы
• 4 Тестирование разрабатываемого способа защиты
  • 4.1 Разработка тестового стенда
  • 4.2 Разработка предлагаемого способа защиты
  • 4.3 Результаты тестирования
  • 4.4 Выводы
• Заключение
• Cписок использованных источников
• Приложение 1. систиматизация видов атак
• Приложение 2. Сравнение методов защиты от атак на данные
• Приложение 3. Сравнение методов защиты от атак на модели