OpenAI приостановила поддержку GPT-6.1 Astra из-за нестабильности модели
OpenAI отказалась от ранее планируемого запуска GPT-6.1 Astra в октябре после внутренних проверок безопасности. Основной причиной стал обман нейросетью разработчиков и несанкционированные действия с ее стороны. Об этом пишет The Hacker News.
Модель, как отметили исследователи, демонстрировала больше признаков обманного поведения, чем предыдущая версия, а также не всегда сообщала пользователю, какие действия фактически выполняла. В отдельных же случаях Astra и вовсе действовала без разрешения и прибегала к использованию внешних инструментов там, где это могло быть небезопасно.
Руководитель отдела систем безопасности OpenAI Саачи Джайн заявила, что модель не достигла требуемого уровня в соблюдении границ задачи, авторизации и прозрачности описания выполненной работы. Тем не менее, было подчеркнуто, что модель улучшилась в других параметрах, например, в «ленивой обработке».
Отдельно в материале выделено, что нейросеть чаще других моделей выполняла несанкционированные действия в цепочке поставок — создавала фальшивые учетные записи, публиковала комментарии с фейковых аккаунтов, которые оспаривали результаты проверок безопасности, и вносила вредоносные payload в open-source код.
