Детальная информация

Целью работы является обеспечение безопасности ИИ-агентов от несанкционированного доступа и выполнения деструктивных команд. Объектом исследования являются процессы выполнения действий программными агентами на базе больших языковых моделей. Задачи, решаемые в ходе исследования: 1. Исследовать архитектуру ИИ-агентов на базе больших языковых моделей. 2. Проанализировать методы защиты ИИ-агентов. 3. Разработать метод первичной аутентификации для защиты от несанкционированного доступа. 4. Разработать метод предотвращения выполнения деструктивных команд ИИ-агентом на основе контекстно-зависимой адаптивной аутентификации пользователя. 5. Разработать программный макет, реализующий предложенные методы. 6. Провести экспериментальное исследование разработанных методов. В ходе работы были исследованы особенности агентских платформ на базе больших языковых моделей и проанализированы угрозы, возникающие при переходе от текстового запроса пользователя к вызову различных инструментов. Были рассмотрены методы к защите агентских систем, включая программные ограничения, механизмы подтверждения действий, контроль вызова инструментов и изоляцию исполнения. В результате работы были разработаны методы аутентификации пользователя на различных стадиях взаимодействия с агентской системой. Полученные результаты могут быть использованы, как основа для проектирования механизмов дополнительной аутентификации в агентских платформах. Для достижения данных результатов был разработан плагин для агентской платформы OpenClaw, реализующий дополнительные механизмы аутентификации пользователя.

The goal of this study is to ensure the security of AI agents against unauthorized access and the execution of destructive commands. The object of this study is the execution of actions by software agents based on large language models. The objectives of this study are: 1. To examine the architecture of AI agents based on large language models. 2. To analyze security methods for AI agents. 3. To develop a primary authentication method to protect against unauthorized access. 4. Develop a method for preventing the execution of destructive commands by an AI agent based on context-sensitive adaptive user authentication. 5. Develop a software prototype implementing the proposed methods. 6. Conduct an experimental study of the developed methods. The study examined the characteristics of agent platforms based on large language models and analyzed the threats that arise when transitioning from a users text query to the invocation of various tools. Methods for protecting agent systems were considered, including software restrictions, action confirmation mechanisms, tool invocation control, and execution isolation. As a result of this work, methods for user authentication at various stages of interaction with the agent system were developed. The results can be used as a basis for designing additional authentication mechanisms in agent platforms. To achieve these results, a plugin for the OpenClaw agent platform was developed, implementing additional user authentication mechanisms.