Alice получила $140 млн на развитие средств защиты ИИ
Компания Alice получила $140 млн на развитие средств проверки и защиты моделей и ИИ-агентов. Ее продукты помогают обнаруживать запросы, которые заставляют ИИ обходить установленные запреты, выполнять вредоносные инструкции или раскрывать данные. Общая сумма инвестиций в компанию достигла $280 млн.
Израильская компания Alice была основана в 2018 году под названием ActiveFence. Первоначально ее специалисты выявляли мошенничество, деятельность экстремистских групп, кампании по манипулированию информацией и другие опасные действия на крупных цифровых площадках. После переименования компания распространила накопленный опыт на защиту моделей, приложений и агентов искусственного интеллекта.
До выпуска ИИ-модели или приложения специалисты Alice пытаются заставить их нарушить установленные правила. Для этого используются вредоносные запросы и сложные задания для ИИ-агентов — программ, которые могут самостоятельно выполнять действия с помощью подключенных инструментов. Такие проверки позволяют найти способы обхода встроенных запретов и внедрения инструкций, меняющих поведение системы.
Когда организация начинает использовать ИИ-модель, она с помощью Alice задает ограничения: к каким данным модель может обращаться и какие действия ей разрешено выполнять. Средства Alice анализируют запросы пользователей и ответы модели, а также имитируют атаки, чтобы обнаружить утечку данных, выполнение запрещенных действий или внедренных злоумышленником инструкций.
О раунде финансирования объемом $140 млн компания объявила 25 августа 2026 года. После него общая сумма инвестиций в Alice достигла $280 млн.
Для подготовки проверок компания использует базу Rabbit Hole. В ней собраны обнаруженные почти за десять лет примеры мошеннических схем, вредоносных материалов и способов манипулирования цифровыми сервисами. На основе этих данных Alice составляет задания, которые должны спровоцировать опасное или непредусмотренное поведение ИИ.
Читайте также
