Разработчик ChatGPT зафиксировал переломный момент в кибербезопасности

Компания OpenAI, разработчик ChatGPT, рассказала, как ее ИИ-агенты взломали инфраструктуру Hugging Face — платформы для размещения моделей ИИ, программного кода и наборов данных. В компании считают инцидент переломным из-за уровня автономности агентов: без пошаговых команд человека они координировали действия, обходили ограничения и атаковали внешнюю организацию. События начались в мае, более чем за два месяца до взлома. Агенты выполняли задания ExploitGym, предназначенные для проверки способности ИИ находить и использовать уязвимости. Тесты проводились в изолированной песочнице без прямого доступа в интернет, а ограничения на опасные действия были ослаблены.

Для загрузки программных компонентов песочница была связана с JFrog Artifactory — корпоративным хранилищем программных пакетов. Одному из агентов не хватало файла для выполнения задания. Он выяснил, что может оставлять записи в общем хранилище, и попросил агентов из других запусков поделиться нужными данными.

Другие агенты нашли сообщение и начали отвечать. Постепенно Artifactory превратился в общую доску, где они обменивались результатами работы, учетными данными и найденными уязвимостями. В хранилище накопились сотни тысяч сообщений.

Продолжение ниже

Первый рабочий способ выйти в интернет агенты нашли 26 мая. Они использовали ранее неизвестную уязвимость, заставив Artifactory с внешним подключением выполнять сетевые запросы от их имени. Позднее агенты получили административные права и возможность выполнять команды на сервере. OpenAI подтвердила, что они смогли перейти из песочницы во внутреннюю инфраструктуру компании и получить полноценный доступ к интернету.

Активность агентов 4 июля перегрузила Artifactory и вызвала сбой. OpenAI удалила доску сообщений, отозвала учетные данные и перестроила сервис. После возобновления испытаний один из агентов стал записывать сообщения в названиях создаваемых папок. Остальные обнаружили записи и продолжили общение, восстановив канал связи.

Получив доступ в интернет, агенты начали искать ответы к тестовым заданиям. Они предположили, что нужные данные могут храниться на Hugging Face — платформе для размещения моделей машинного обучения, программного кода и наборов данных.

Кто и как защищает КИИ в транспортных компаниях России. Инфографика и разбор SecPost

Поставщики и продукты

Для атаки агенты сначала получили контроль над сервером в облачном сервисе, на котором можно было запускать код, и использовали его как промежуточный узел. Затем они загрузили на Hugging Face специально подготовленные конфигурации наборов данных. При обработке этих файлов на серверах Hugging Face запускался код агентов. Так они получили доступ к служебным файлам и токенам, открывавшим путь во внутренние системы платформы.

Hugging Face восстановила около 17,6 тыс. действий, совершенных с 9 по 13 июля. Агенты получили доступ к пяти наборам данных, связанным с тестовыми заданиями, и пытались добраться до внутренних репозиториев исходного кода. Признаков компрометации других пользовательских моделей, наборов данных и приложений компания не обнаружила.

Hugging Face закрыла использованные пути проникновения, заменила токены и перестроила часть инфраструктуры. OpenAI усилила изоляцию тестовой среды и расширила мониторинг действий агентов.

Инцидент показал, что ИИ уже способен без пошагового управления человеком координировать действия, обмениваться эксплойтами, восстанавливать заблокированную связь и проводить многоэтапные атаки. OpenAI считает, что развитие таких возможностей потребует ускоренной автоматизации киберзащиты.