ИИ-агенты стали вдвое чаще выходить из-под контроля
В июле 2026 года число зафиксированных случаев потери контроля над ИИ почти удвоилось по сравнению с июнем и превысило 300 за месяц, а всего с начала года — более 1600. Об этом сообщила The Guardian со ссылкой на исследование Loss of Control Observatory. Эксперты предупреждают: польза и опасность ИИ-агентов кроются в их автономности, а каждый выданный инструмент становится точкой действия.
В июле число зафиксированных случаев потери контроля над искусственным интеллектом (ИИ) почти удвоилось по сравнению с июнем и превысило 300 случаев за месяц. Всего в 2026 году было зафиксировано более 1600 подобных случаев. Об этом пишет The Guardian.
Издание ссылается на исследование Loss of Control Observatory, которое проводили при поддержке британского AI Security Institute. Под «потерей контроля» подразумевались случаи, когда нейросети лгали пользователям, игнорировали их прямые инструкции и обходили установленные ограничения и меры безопасности. В это число входят и случаи, когда ИИ выдавал себя за человека, имитировал стиль письма пользователя, а также самостоятельно добивался поставленной цели такими способами, которые шли вразрез с намерениями пользователя.
В материале упомянут случай, когда 700 автономных ИИ-агентов атаковали программный репозиторий Hugging Face. Нейросетевые агенты тайно сотрудничали и переписывались на созданном ими же форуме.
Исследователи подчеркнули, что статистика неполная, поскольку основана на сообщениях пользователей в X (бывший Twitter). Настоящее же число инцидентов, связанных с ИИ, может быть куда выше. Большинство зарегистрированных случаев не привели к значительному ущербу, однако наблюдатели выделили, что доля случаев с более высокой степенью несоответствующего намерениям человека поведения увеличивается.
«Сама суть ИИ-агента предполагает определенную самостоятельность»
По мнению директора Глобального центра исследования и анализа угроз «Лаборатории Касперского» Игоря Кузнецова, ИИ-агенты позволяют автоматизировать большое количество рутины, которая не требует глубокой экспертизы. Собеседник редакции привел аналогию: ИИ-агент подобен большому количеству сотрудников без экспертных знаний и может сделать все, что могут они.
«При этом сама суть ИИ-агента предполагает определенную самостоятельность. Он получает задачу, планирует действия и исполняет их, а если что-то идет не так, может менять инструментарий и подходы к ее выполнению», — отметил эксперт. Кузнецов добавил, что модели могут ошибаться, что, в свою очередь, приводит к нежелательным последствиям, если агент имеет широкий доступ к внутренним системам организации.
«И польза, и опасность ИИ-агентов заключаются в их автономности. Агент сам разбивает задачу на шаги, вызывает инструменты, читает файлы и ходит в API, поэтому закрывает рутину, которую человеку приходилось делать вручную, и работает без участия пользователя», — объяснил ведущий исследователь Исследовательского центра УЦСБ Алексей Синадский.
При этом собеседник отметил, что каждый инструмент и каждая учетная запись, выданная агенту, становится точкой действия, а промпт-инъекция из атаки на текст превращается в атаку на инфраструктуру.
По мнению эксперта, инциденты, перечисленные Guardian, не означают, что модель «взбунтовалась», поскольку агент просто пытается выполнить поставленную задачу, и, когда инструкции конфликтуют, он обходит ограничения. «Это предсказуемое следствие передачи автономии, поэтому защита строится как управление этой автономией», — заключил эксперт.
«ИИ-агент — это ваш новый сотрудник со знаниями в любой области: юрист, маркетолог, программист и любой другой. С зарплатой 20 долларов в месяц. Он создает документы и напоминает о важном», — считает автор Telegram-канала «Топ кибербезопасности» Денис Батранков. Эксперт отметил, что сам использует ИИ-агента в контроле за проектами и личным сайтом.
При этом Батранков отметил один из минусов такого «помощника»: для него команда «удалить» и «создать» не несет никакой эмоциональной окраски, а ответственность за его действия несет только владелец.
Рекомендации экспертов
Кузнецов считает, что компаниям следует понимать, какие ИИ-агенты используются в инфраструктуре и к каким данным они имеют доступ. Также, выделил эксперт, важно учитывать безопасность всей агентной цепочки поставок.
«Важно заранее определять архитектурные требования безопасности, предусматривать изоляцию агентов и защищенные контейнерные среды, обеспечивать логирование и получение телеметрии», — отметил собеседник. Кузнецов подчеркнул, что помимо этого необходима и интегрированная многослойная защита, чтобы максимально снизить потенциальные риски агентных систем.
По мнению Синадского, правила безопасности для агентов повторяют то, что уже давно работает для сотрудников. Среди требований к ИИ-агенту эксперт выделил минимизацию привилегий и выдачу инструментов и прав, которые нужны только для поставленных задач, без доступа к остальной системе и без возможности расширения прав. Критические же действия, как подчеркнул собеседник, должны подтверждаться человеком-оператором, по аналогии с человеком-руководителем.
К этому же эксперт добавил изоляцию среды исполнения, мониторинг вызовов инструментов, логирование для расследования инцидентов, а также возможность аварийной остановки и перевода в режим работы «Без ИИ». «Для компаний, чьи ИИ-системы входят в ГИС, с марта 2026 года действует Приказ ФСТЭК России № 117, требующий контролировать допустимые тематики запросов и выявлять недостоверные ответы», — выделил Синадский.
Для агентных же систем, по мнению собеседника, этого уже недостаточно, поскольку контроль должен работать на уровне действий и прав, а не только запросов, потому что вредоносная команда приходит не текстом промпта, а целой цепочкой действий.
Батранков выделил, что одно из важных решений — противопоставлять одних агентов другим, чтобы решения эффективно контролировались. Без контроля же, выделил эксперт, существует риск остановки бизнеса в самый неожиданный момент. «Существуют уже и атаки против агентов и вас через них. Существуют проблемы с перерасходом денег на работу агентов. Одной компании выставили счет 500 млн долларов за месяц работы агентов», — подчеркнул Батранков.
Собеседник SecPost отметил, что новости про то, что агенты выходят из-под контроля, — маркетинг, поскольку компании хотят впечатлить своих клиентов. «Не верьте и пользуйтесь агентами, но контролируйте. Разделяйте и властвуйте», — заключил эксперт.
Ранее SecPost писал, что Минцифры и Минпромторг готовят правила интеграции ИИ-агентов в промышленность. Ведомства обязались подготовить перечень открытых протоколов, по которым ИИ-агенты смогут взаимодействовать с промышленными системами. Эксперты подчеркнули, что на данный момент промпт-инъекции и компрометация всей ИТ-системы — ключевая угроза.
Читайте также
