ИИ-агент спровоцировал утечку данных в Meta*: сотрудник последовал совету нейросети и раскрыл конфиденциальную информацию

В компании Meta* произошла внутренняя утечка конфиденциальных данных, вызванная использованием ИИ-агента, как сообщает издание The Guardian. Инцидент произошел после того, как сотрудник обратился за советом по инженерной проблеме на внутреннем форуме. ИИ-агент предложил решение, реализация которого привела к двухчасовому раскрытию большого объема пользовательских и корпоративных данных инженерам компании.

В Meta* подтвердили факт утечки, отметив, что «никакие пользовательские данные не были использованы ненадлежащим образом», а аналогичную ошибку мог допустить и человек-специалист.

Как сообщается, инцидент стал одним из нескольких в американских технологических компаниях, связанных с внедрением ИИ-агентов (agentic AI). В Amazon, согласно отчету Financial Times, в прошлом месяце произошло как минимум два сбоя из-за внутренних ИИ-инструментов. Позже более полудюжины сотрудников Amazon рассказали The Guardian о поспешной интеграции ИИ во все аспекты работы, что, по их словам, привело к ошибкам, неаккуратному коду и снижению производительности.

В консалтинговой компании, специализирующейся на использовании ИИ в бизнесе, отметили, что подобные инциденты свидетельствуют о нахождении Meta* и Amazon на «экспериментальной стадии» внедрения ИИ-агентов, где не проводится надлежащая оценка рисков. Специалист по разработке наступательного ИИ добавил, что ошибки ИИ-агентов связаны с отсутствием долгосрочного контекста задачи, в отличие от человека-инженера, накапливающего понимание систем и критичных зависимостей в процессе работы.

Как считает ведущий инженер по ИИ и безопасности ГК Swordfish Security Михаил Черешнев, причиной инцидента стало не столько ИИ, сколько некорректная, небезопасная и, в некоторой степени, безответственная работа оператора — человека. Это в очередной раз подчеркивает необходимость развития инженерных компетенций у оператора, использующего ИИ для решения бизнес- и инженерных задач.

Для того чтобы избежать аналогичного инцидента, эксперт рекомендует ввести классификацию систем по категориям критичности и «допустимости» применения ИИ в написании кода без ревью архитекторами и безопасниками. Другая полезная организационная мера, по версии Черешнева, — повышение компетенции сотрудников в части использования ИИ-систем в работе.

«Подходы, по которым человек взаимодействует с ИИ, настолько быстро развиваются, что ни одна компания в мире не способна в полной мере защититься от этого и подобных инцидентов», — отмечает Черешнев.

Бизнес-партнер по кибербезопасности Cloud.ru Юлия Липатникова подтверждает, что инцидент в Meta* стал сигналом для пересмотра подхода к разграничению доступа для ИИ-систем внутри корпоративного периметра. «Рынку, вероятно, придется пересматривать модели наделения ИИ правами: ИИ-агенты должны иметь не просто технические ограничения, но и четко прописанные границы доступа, сопоставимые с правами человека на аналогичной позиции (или даже строже)», — отмечает Липатникова.

Эксперт также приводит несколько технических мер, которые могут предотвратить инцидент, связанный с ИИ. Один из них — гардрейлы (Guardrail) на уровне выполнения команд. Это защитный механизм перед агентом, который проверяет пользовательский запрос до того, как агент начнет выполнять команды. В случае с Meta* ИИ дал инструкцию по изменению конфигурации, и Guardrail должен был заблокировать ответ ИИ, содержащий команды по изменению прав доступа к данным еще на этапе вывода, если у пользователя (или агента) не было подтвержденных полномочий. Аналогично должно было произойти и на этапе исполнения: если бы агент имел доступ к API, Guardrails должны были перехватить вызов на изменение прав доступа как «запрещенное действие» для данной сущности.

К другим техническим мерам, которые могли бы помочь избежать утечки, Липатникова также относит разделение контекста и прав — нужны технические внедрения системных промптов с жесткими ограничениями, которые не могут быть переопределены пользователем. Помимо этого, должны быть изолированы критические API от агентов, не имеющих специального допуска. Также необходим обязательный подтверждающий шаг от человека для критических действий.

«Инженер сам выполнил инструкцию, — отмечает Липатникова. — Если бы выполнение команд, связанных с правами доступа, требовало обязательного двухфакторного подтверждения через отдельный канал (например, через этап согласования человеком), этого бы не произошло».

Липатникова невысоко оценивает уровень защищенности российских компаний от подобных инцидентов, но дело не в отсутствии технологии, а в «отсутствии дисциплины и зрелых практик». «Даже Meta*, с ее колоссальными ресурсами безопасности, попадает в такие ситуации, потому что находится в «экспериментальной фазе»», — подчеркивает эксперт.

«Для российских компаний это двойной риск», — считает Липатникова. С одной стороны, многие компании более консервативны в внедрении агентного ИИ и используют «закрытые контуры» (on-premise), что объективно снижает вероятность того, что агент получит доступ к публичным облачным API для управления доступом. С другой стороны, уровень внедрения формальных политик ИИ-безопасности в России крайне низок (~60% компаний не имеют политик). Это означает, что при начале активного внедрения агентного ИИ (а тренд неизбежен) российские компании будут проходить тот же «экспериментальный» этап, но без сложившейся культуры безопасности, которая есть у зарубежных компаний, говорит Липатникова.

«Основной риск связан не с самим ИИ, а с тем, как он встроен в инфраструктуру: если ему даются избыточные права или отсутствуют проверки действий, вероятность инцидентов возрастает. В целом можно сказать, что рынок находится в переходной фазе: базовые меры безопасности уже применяются, но стандартизированных подходов к контролю ИИ пока недостаточно, и именно это является зоной роста», — считает технический директор MD Audit (SL Soft FabricaONE.AI, акционер — ГК Softline) Юрий Тюрин.

Заместитель генерального директора по инновационной деятельности «СёрчИнформ» Алексей Парфентьев отмечает существенные усилия со стороны регуляторов: прорабатываются законопроекты в сфере ИИ, среди которых проект федерального закона «Об основах государственного регулирования сфер применения технологий искусственного интеллекта в РФ» (SecPost писал о нем подробнее). Кроме того, проект методологий к действующему приказу ФСТЭК № 117 уже содержит требования к безопасности при использовании ИИ, включая мониторинг запросов и фильтрацию ответов.

«Все необходимые инструменты для защиты уже существуют, более того – они отечественного производства. Насколько активно заказчики их применяют – вопрос открытый», – говорит Парфентьев.

Ранее SecPost писал о том, что ИИ-агенты могут стать одним из основных векторов атак к 2026 году. Из-за необходимости предоставлять ИИ-агентам широкий доступ к внутренним системам компании столкнулись с риском их использования в кибератаках. Главный риск — подмена запросов, защититься от которого помогут строгие правила доступа и API-шлюзы.