Swordfish Security обновила фреймворк оценки AI Security до версии 2.0

Компания Swordfish Security представила версию 2.0 фреймворка оценки AI Security, предназначенного для инженеров в области кибербезопасности и разработчиков. Методология оценки зрелости компаний, применяющих искусственный интеллект, была разработана в 2025 году, а в 2026-м в нее внесли изменения, отражающие динамику внедрения ИИ в России, как указывается в сообщении компании. Об этом SecPost сообщили в компании.

Одной из ключевых проблем по мере внедрения ИИ в бизнес-процессы эксперты называют растущее количество ИИ-агентов, которым компании доверяют выполнение корпоративных процессов — от аналитики до написания ПО — без пошагового контроля человека. Риск связан с природой таких систем: агент не ограничивается формированием ответа, а может иметь полномочия, доступ к инструментам и способность действовать без человека в цикле. В такой конфигурации ошибка модели способна перейти из кода в действие внутри корпоративной системы.

Как сообщили в компании, фреймворк опирается на существующие домены и практики, позволяя оценить текущее состояние контроля, определить приоритеты и сформировать последовательность дальнейших действий. Компания может пройти по вопросам фреймворка, зафиксировать текущий уровень зрелости ИИ-систем и получить маршрут их развития.

Продолжение ниже

В новую версию вошли два дополнительных домена: безопасность агентских систем и безопасность RAG-пайплайнов. Первый сфокусирован на контроле поведения агентов и позволяет выделить вопросы, связанные с их действиями и использованием инструментов, в самостоятельный контур оценки.

Второй домен посвящен данным, используемым в ИИ-системах. Он предполагает контроль используемых данных, понимание их связи с моделями, учет версий и происхождения компонентов. По словам компании, такой подход необходим и при работе с моделями с открытыми весами, и при использовании проприетарных моделей.

Версионный учет, инвентаризация данных и моделей, фиксация инцидентов и наблюдение за нежелательным поведением позволяют перейти от разовой проверки к постоянному управлению AI Security. Это принципиально для генеративных моделей, поведение которых обладает свойством недетерминированности: один и тот же запрос может давать разные результаты.

Обновленный фреймворк дает организациям прикладной инструмент с моделью расчета зрелости для выстраивания контролируемого использования ИИ с учетом особенностей агентных систем, RAG-пайплайнов, данных и моделей.

Документ будет доступен бесплатно.