«Списки «куда нельзя» не работают»: Gemini атаковал реальные компании во время теста

Google заявила, что одна из моделей Gemini в ходе майской проверки кибербезопасности получила доступ к системам трех реальных компаний. Во время тестирования нейросеть угадала учетные данные для доступа к сайтам, думая, что это часть теста. Об этом пишет SecurityWeek.

Ранее стало известно, что ИИ-агенты компании OpenAI, разработавших GPT, во время испытаний взломали платформу Hugging Face. В ходе инцидента было зафиксировано около 17,6 тыс. действий моделей. Во время атаки агенты обменивались найденными данными и результатами работы, писал SecPost.

ИИ-агент взломал две компании при тестировании — модель была уверена, что работает без доступа к интернету

Помимо этого, стало известно, что количество зафиксированных случаев потери контроля над ИИ составило 1600 инцидентов с начала года. Эксперты предупредили, что каждый инструмент, выданный модели, может стать точкой действия нейросети, а автономность ИИ представляет как пользу, так и опасность.

Тест проводила компания Irregular, занимающаяся тестированием ИИ-моделей. Gemini выполнял стандартное задание по захвату флага на инфраструктуре компании, основной целью нейросети было извлечение информации из ПО, разработанного вымышленной компанией, название которой было схоже с названием реальной организации.

По заявлению Irregular, изначально модель не должна была иметь доступа в интернет, однако он был непреднамеренно предоставлен ей. В одном из случаев ИИ подбирал пароли до тех пор, пока не получил доступ к системе, в двух других искал в интернете информацию по названию компании, находил учетные данные других компаний в открытых хранилищах и использовал их.

В Google назвали инцидент «ошибкой идентификации» и подчеркнули, что Gemini прекращал атаку, когда распознавал реальность вторжения. Издание указало, что компания, в отличие от других, не раскрывала результаты расследования до тех пор, пока с ней не связались, поскольку модель не причинила никакого вреда и вовремя остановилась.

Помимо этого, владельцы Gemini выделили, что инцидент не является случаем некорректной работы модели, так как меры безопасности помогли ей остановиться. Организация привела сравнение инцидента с программой вознаграждения за обнаружение уязвимостей. По заявлению Google, компания уже уведомила власти и три пострадавшие компании, названия которых остались неизвестны, а само происшествие не связано с последней моделью нейросети.

Мнение экспертов: пиар Google или провал изоляции

Директор по безопасности ИИ AppSec Solutions Юрий Шабалин считает инцидент несколько запоздавшим. По мнению эксперта, Google пытается «запрыгнуть в уходящий поезд», заявляя, что их агент также взломал кого-то, тем самым демонстрируя его способности.

Проджект-менеджер ГК Softline (MD Audit) Кирилл Левкин же заявил, что инцидент показателен тем, что модель не пыталась атаковать реальные компании, а просто неверно определила, с какой системой работает.

«Для корпоративных систем это довольно наглядный пример: агент может выполнить задачу именно так, как его попросили, но ошибиться в выборе объекта», — подчеркнул собеседник редакции. При этом Левкин выделил, что стоит понимать: чем больше у ИИ-агента самостоятельных действий и доступов, тем серьезнее могут быть последствия ошибок.

Шабалин отметил, что сказать, что модель преднамеренно выполняет вредоносные действия, нельзя, поскольку у нее нет морали и понимания, является ли действие безвредным или нет. По мнению эксперта, агент всего лишь собирает данные, в то время как уязвимости, промпт-инъекции и прочие механизмы передают модели вредоносное намерение. «При этом модель не знает, откуда пришел запрос — из недоверенного источника или из доверенного, откуда он вообще появился и каким образом попал в нее», — заключил Шабалин.

Левкин подчеркнул, что одного доступа в интернет недостаточно, чтобы превратить ИИ-агента в потенциального участника кибератаки, поскольку возможности модели сильно урезаны, если она просто получает информацию. Совсем другая ситуация, по мнению эксперта, если ИИ может сам искать нужную информацию, получать учетные данные, обращаться к системам и выполнять команды, особенно если между действиями нет обязательного подтверждения человека.

«Поэтому стоит смотреть не на отдельную функцию, а на связку возможностей», — объяснил Левкин. При этом собеседник уточнил, что у агента появляется совсем другой уровень риска, когда он может построить цепочку действий от нужной информации до попытки получить доступ к системе.

Ведущий инженер-аналитик лаборатории технологий искусственного интеллекта аналитического центра кибербезопасности компании «Газинформсервис» Ирина Меженева считает, что гарантию того, что агент не сможет обратиться к инфраструктуре, не входящей в scope теста, дает не запрет, а среда.

«Списки «куда нельзя» не работают — их не составить исчерпывающе, и случай с совпавшим названием это показывает: ресурс не был запрещен, он просто не был предусмотрен», — отметила эксперт. По мнению собеседника SecPost, работает выделенный контур, где физически существуют только объекты теста: сетевая изоляция, отдельные минимальные права, отсутствие доступа к внешним хранилищам учетных данных и журналирование всех действий.

Меженева указала, что ошибка идентификации невозможна в определенной архитектуре: «Если в среде нет ничего, кроме объектов теста, агенту нечего перепутать». Эксперт выделила ориентир для эксплуатации — запускать агента в среде под худший сценарий, а не под ожидаемый.