«Эпоха стихийного корпоративного ИИ заканчивается»: ФСТЭК взялась за регулирование моделей

Федеральная служба по техническому и экспортному контролю (ФСТЭК) РФ опубликовала приказ от 24 августа о внесении правок в приказ № 117. Ключевые изменения коснулись совершенствования мер защиты информации при использовании искусственного интеллекта (ИИ).

Поправки выделяют модели ИИ в отдельный сегмент инфраструктуры, изолированный на уровне сетевой архитектуры. При этом доступ к ИИ, согласно изменениям, будет требовать многофакторной аутентификации. Также при работе с языковыми моделями за основу будет взят принцип наименьших привилегий: пользователи будут получать минимальные права доступа, необходимые строго для выполнения определенных функций.

При доступе пользователя в выделенный сегмент все действия с ИИ будут регистрироваться и анализироваться. В случаях же, если модель будет использоваться для обработки информации с ограниченным доступом или для реализации значимых функций, к ней отдельно будет предъявляться ряд требований. Среди них: ужесточенный контроль доступа пользователей к моделям ИИ, фильтрация входных запросов и выходных данных моделей, ограничение количества запросов к моделям, а также ограничение и контроль функциональности ИИ. Такие меры призваны стать ответом на риски prompt injection (промпт-инъекций) и утечки данных через ответы языковой модели.

ФСТЭК требует контролировать права ИИ-агентов, которые действуют без постоянного контроля человека и могут самостоятельно принимать и осуществлять решения. Такие же меры касаются и прав пользователей.

Если приказ будет принят, поправки вступят в силу с 1 марта 2027 года.

Новые поправки ФСТЭК к приказу №117: требования добрались до подрядчиков госсектора

Ключевые изменения в поправках

Старший аналитик-специалист по связям с государственными органами «СёрчИнформ» Дмитрий Вощуков отметил, что на уровне организационных ИБ-мер в правках устанавливается обязанность операторов ИС госсектора прописывать порядок защиты информации при применении языковых моделей во внутренних регламентах.

По мнению эксперта, внесенные изменения помогут сформировать и в дальнейшем унифицировать практики безопасной работы с ИИ-сервисами, а также снизить уровень угрозы, связанный с использованием «теневого» ИИ в организациях.

Ведущий инженер-аналитик лаборатории технологий искусственного интеллекта аналитического центра кибербезопасности компании «Газинформсервис» Ирина Меженева считает, что ключевые изменения в приказе состоят в смене логики регулирования. Регулятор рассматривает ИИ как полноценный компонент инфраструктуры, наравне с базами данных и контроллером домена, со своими правами, уязвимостями и журналом действий.

Эксперт также обратил внимание, что из пункта 49, в котором идет речь о мониторинге событий безопасности, исчезло слово «доверенные». В предыдущей версии документа языковые модели допускались к анализу событий, только если они были «доверенными». Меженева заявила, что избавление от такого термина — положительный знак, поскольку категория «доверенного» ИИ так и не была определена.

Концепция «доверенного» ИИ впервые возникла в альтернативной версии законопроекта о регулировании ИИ в России, подготовленной рабочей группой при участии разработчика ИИ Игоря Ашманова, экс-директора по ИИ МТС Андрея Калинина, юриста Виктора Наумова, а также представителей научных учреждений. От этой концепции отказались в поздних версиях законопроекта — вместо неё появились категории «суверенных» и «национальных» моделей. Наталья Касперская обращала внимание, что эти требования касаются сугубо географических критериев, никак не связанных с безопасностью, писал SecPost.

Отдельно эксперт выделила наличие в поправках ИИ-агентов, которые впервые появились на нормативном уровне. Меженева положительно оценила распространение кибергигиены не только на людей и сервисы, но и на программных помощников: «Агент не должен быть суперпользователем по умолчанию — точнее о смысле пункта не скажешь».

Технологические же требования к моделям, по мнению Меженевой, закрывают реальные векторы атак, такие как инъекции в запросах, утечки через промпты и ответы, незаметное расширение функций модели и выманивание данных перебором.

«Фильтрация входа и выхода вместе с квотированием — это фактически шлюз безопасности для больших языковых моделей, и отрадно, что оператору оставили выбор: строить защиту силами ПО в составе системы или применять отдельные средства защиты моделей ИИ», — подчеркнула Меженева.

На что повлияют поправки

Вощуков предположил, что принятие приказа сделает более длинным цикл внедрения ИИ в госструктуры. Эксперт указал, что запуск ИИ для госзаказчика потребует мероприятий по организации отдельного сегмента инфраструктуры, анализа рисков и угроз, а также регламентации и реализации контроля. Собеседник SecPost отметил, что изменения ФСТЭК соответствуют сложившемуся ИИ-ландшафту и актуальным угрозам.

Эксперт выделил, что неконтролируемое применение ИИ и использование «теневых» ИИ-сервисов уже несут за собой масштабные сбои в работе ИС и утечки, в том числе и трансграничные. Прикладных же требований, как считает Вощуков, к обеспечению безопасности для заказчиков и пользователей ИИ-сервисов как в России, так и в мире еще немного. Из этого Вощуков сделал вывод: нельзя исключать «тиражирование» предложенных предписаний на другие организации, а вместе с этим и заимствование российского опыта регулирования, например, в СНГ.

Меженева считает, что сводить все требования по ИИ к госсектору было бы ошибкой. В пункте 61 прямо названы подрядные организации, которые предоставляют услуги на основе моделей.

Собеседник SecPost подчеркнула, что мероприятия подрядчиков по защите должны быть установлены во внутренних стандартах и регламентах, что говорит о том, что требования немедленно перетекут в договоры, технические задания и SLA по всей цепочке поставки.

«Для вендоров ИИ-платформ это сигнал пересматривать архитектуру: решения в духе обертки над внешним API в госсекторе окончательно теряют право на жизнь, преимущество получают продукты, способные жить в выделенном сегменте заказчика с контролируемыми правами», — отметила эксперт.

К этому Меженева добавила, что рождается новый класс продуктов — отдельные средства защиты моделей. Спрос на такие продукты, как считает эксперт, обеспечен самим текстом приказа. «За рубежом эту нишу давно окрестили AI-файрволами, у нас она только формируется, и ближайшие годы пройдут под знаком ее заполнения», — подчеркнула эксперт.

Эффект поправок для рынка Меженева назвала «двояким».

«Для заказчиков заканчивается эпоха стихийного корпоративного ИИ, когда сотрудники пробуют внешние сервисы на свой страх и риск: появится инвентаризация, регламенты, аттестационные испытания ИИ-контуров, а вместе с ними спрос на аудит и компетенции», — говорит Меженева. Но для российских разработчиков это скорее возможность — шанс перестроить архитектуру, пока правила заданы заранее, чтобы войти в 2027 год с готовым предложением.

В данном случае, подчеркнула Меженева, регулирование задает условия размещения технологии в чувствительных системах, чего, в свою очередь, и не хватало рынку для уверенных инвестиций.