«Лаборатория Касперского» выпустила руководство по безопасности ИИ-агентов

«Лаборатория Касперского» представила руководство «Безопасность ИИ-агентов через призму кибериммунитета». Документ предназначен для директоров по информационной безопасности и ИТ, ИТ-руководителей, архитекторов и разработчиков. Об этом SecPost сообщили в компании.

ИИ-агенты — это системы на базе больших языковых моделей (LLM), способные самостоятельно взаимодействовать с файлами, базами данных, почтой и другими системами. Они применяются в разработке ПО, поддержке клиентов, работе с базами знаний, аналитике, ИТ/ИБ и бизнес-процессах. При этом внедрение часто идёт «снизу вверх», в обход руководителей, что порождает теневой ИИ — неподконтрольную инфраструктуру с неизвестным уровнем безопасности.

В документе выделены четыре основных риска для безопасности ИИ-агентов. Первый связан с недоверенным когнитивным ядром: LLM являются вероятностными и могут ошибаться. Второй — «фатальная триада»: сочетание доступа к конфиденциальным данным, обработки недоверенного ввода и возможности взаимодействовать с внешними системами. Третий — избыточные полномочия, когда агент получает больше прав, чем ему нужно. Четвёртый — непрозрачность действий, при которой человеку сложно понять, почему система приняла то или иное решение, и вовремя заметить ошибку. Как сообщили в компании, эти риски уже подтверждаются реальными инцидентами, включая случаи случайного удаления данных ИИ-агентами.

Продолжение ниже

Для моделирования защиты в документе предлагается кибериммунный подход — концепция «Лаборатории Касперского» по построению безопасных по умолчанию систем. В её основе лежит постановка во главу угла не конкретных мер, а целей и допущений безопасности, которые фиксируются на этапе проектирования и определяют архитектуру системы.

В руководстве содержатся рекомендации по построению безопасных агентных архитектур для руководителей, отвечающих за ИТ и ИБ.