Details

В ходе работы был проведен анализ атак на системы машинного обучения. Проведен анализ атак кражи модели машинного обучения, а также методов защиты данного типа атак, на основании чего задача защиты от данного типа атак поставлена как выявление аномалий в поведении клиента, взаимодействующего с моделью. Предложен способ обнаружения атак кражи модели с применением анализа профиля поведения пользователя и последующим выявлением отклонений от нормального поведения. Полученные результаты могут быть использованы в качестве основы для проектирования систем защиты моделей машинного обучения в корпоративной среде. Для достижения данных результатов была разработана система защиты модели машинного обучения, использующая библиотеки языка Python для работы с машинным обучением, такие как sklearn, tensorflow и transformers.

In the course of this work, an analysis of attacks on machine learning systems was carried out. An analysis of model stealing attacks and methods for protecting against this type of attack was also conducted. Based on this analysis, the task of defending against such attacks was formulated as the detection of anomalies in the behavior of the client interacting with the model. A method for detecting model stealing attacks using user behavior profiling and subsequent identification of deviations from normal behavior was proposed. The results obtained can be used as a basis for designing machine learning model protection systems in a corporate environment. To achieve these results, a protection system for machine learning models was developed using Python libraries for machine learning, such as sklearn, tensorflow, and transformers.