Details

Целью работы является исследование уязвимостей систем биометрической верификации лиц, основанных на эмбеддингах. Объектом исследования являются нейросетевые системы биометрической идентификации и верификации лиц. Задачи, решаемые в ходе исследования: 1. Провести анализ методов атак уклонения на системы распознавания лиц. 2. Формализовать задачу генерации геометрических возмущений. 3. Определить метрику расстояния и пороговое значение для процедуры верификации. 4. Реализовать программный прототип. 5. Провести экспериментальное исследование устойчивости системы в сценариях White-box и Black-box. В ходе работы были исследованы принципы функционирования нейросетевых систем распознавания лиц, основанных на эмбеддингах, а также методы генерации состязательных возмущений. Формализована задача генерации геометрических состязательных примеров на основе модификации координат лицевых ориентиров. Рассмотрены метрики расстояния, применяемые в процедуре биометрической верификации, и подход к определению порогового значения. В результате работы разработан программный прототип генерации геометрических состязательных возмущений на основе алгоритма GFLM и проведено экспериментальное исследование устойчивости системы в сценариях White-box и Black-box. Сформулированы рекомендации по защите систем биометрической верификации лиц от геометрических состязательных воздействий. Полученные результаты могут быть использованы при оценке устойчивости биометрических систем к состязательным атакам. Для достижения указанных результатов разработано программное средство на языке Python с использованием библиотек TensorFlow, OpenCV и dlib.

The purpose of this work is to investigate vulnerabilities of embedding-based biometric face verification systems. The object of research is neural network systems for biometric identification and face verification. The research set the following objectives: 1. To analyze evasion attack methods against face recognition systems. 2. To formalize the problem of generating geometric perturbations. 3. To determine the distance metric and the threshold value for the verification procedure. 4. To develop a software prototype. 5. To conduct an experimental evaluation of system robustness in White-box and Black-box scenarios. During the study, the principles of neural network-based face recognition systems using embeddings and methods for generating adversarial perturbations were investigated. The problem of generating geometric adversarial examples based on the modification of facial landmark coordinates was formalized. Distance metrics used in the biometric verification procedure and an approach to threshold value estimation were considered. As a result, a software prototype for generating geometric adversarial perturbations based on the GFLM algorithm was developed, and an experimental evaluation of system robustness in White-box and Black-box scenarios was conducted. Recommendations for protecting biometric face verification systems against geometric adversarial attacks were also formulated. The obtained results can be used to assess the robustness of biometric systems against adversarial attacks. To achieve these results, a software tool was developed in Python using the TensorFlow, OpenCV, and dlib libraries.