«Утечки данных через промпты и RAG-контуры »: эксперты предупредили о рисках закона о фундаментальных ИИ-моделях
Госдума приняла во втором и третьем чтении правительственный законопроект о развитии технологий искусственного интеллекта в России. Документ впервые вводит базовые понятия ИИ, категории суверенных и национальных моделей, а также требования по локализации данных на территории РФ. Эксперты предупреждают, что риски утечек данных через промпты и уязвимостей в архитектуре никуда не уходят даже с принятой инициативой, но отмечают, что контроль над полным жизненным циклом модели повышает управляемость системы.
Госдума приняла во втором и третьем чтениях законопроект о развитии технологий ИИ в России. Новый закон вводит базовое определение ИИ в российское законодательство, а также призван обеспечить условия для приоритетного развития отечественных ИИ-технологий. Об этом сказано на сайте Госдумы.
Закон касается фундаментальных языковых моделей — к ним относятся нейросети с не менее чем 1 млрд параметров. В качестве примеров приводятся российские (YandexGPT и GigaChat) и зарубежные (ChatGPT, DeepSeek, Gemini) решения.
В документации законопроекта указано, что законопроект вводит основные термины и устанавливает принципы регулирования ИИ. Помимо этого определяются рамки использования нейросетей госорганами РФ: президентом, правительством, Банком России и др. Проект также вводит категории суверенных и национальных моделей ИИ. Для них отдельно проработаны требования по локализации данных в РФ и меры господдержки, включая данные для обучения.
Из материалов следует, что под суверенной категорией подразумевается ИИ, разработанный и контролирующийся во время этапа создания российским юридическим лицом, которое будет обязано разместить языковую модель в российских центрах обработки данных. Национальная же модель также должна контролироваться российским юридическим лицом, однако может использовать зарубежные компоненты. Помимо этого, правительство получит новое право определять, в каких случаях в государственных информационных системах допустимо использовать суверенные модели ИИ.
Также подчеркивается, что цель законопроекта состоит в развитии отечественной отрасли ИИ, а также в обеспечении безопасности и независимости. Ещё одной целью названо повышение эффективности госаппарата и экономики.
Спорный законопроект
Ранее SecPost сообщал о том, что президент ГК InfoWatch, председатель правления АРПП «Отечественный софт» Наталья Касперская и президент аналитической компании «Крибрум», член Совета при Президенте РФ по развитию гражданского общества и правам человека Игорь Ашманов раскритиковали законопроект по ИИ в открытом письме, которое было опубликовано в Telegram-канале Касперской. Топ-менеджеры выразили мнение, что инициатива представляет угрозу национальной безопасности и требует переработки.
Одной из основных претензий была названа замена понятия «доверенных моделей» на два отдельных, ранее не существовавших, понятия — «суверенные» и «национальные» модели. По мнению Касперской и Ашманова, такие понятия расплывчаты, а критерии двух типов ИИ зависят исключительно от географического местоположения, без учета угрозы контролирования российских моделей иностранными лицами.
Как закон повлияет на риски в ИБ
Автор Telegram-канала «Кибервойна» Олег Шакиров в комментарии SecPost отметил, что с точки зрения безопасности последствия от введения таких статусов «будут неоднозначными».
«Например, выполнение требований для суверенной модели снижает риски вроде скрытых закладок, непрозрачности каких-то этапов разработки, возможности иностранных спецслужб перехватывать обрабатываемые данные. Но одновременно это означает, что модель будет применяться более ограниченно, на поиск уязвимостей в ней будет тратиться значительно меньше средств, чем на популярные модели», — рассказал SecPost Шакиров.
Тем не менее, эксперт подчеркивает, что проблемы могут состоять не только в технической причине, но и в человеческом факторе: «Допустим, вам в организации внедряют некую суверенную модель, но она по характеристикам уступает решениям от мировых лидеров. И кто-то — не вы, конечно, а кто-то менее ответственный — будет в обход регламентов пользоваться несуверенными решениями».
Руководитель продуктов Nova AI и StarGuard AI в Orion Soft Никита Векессер считает, что законопроект больше регулирует поддержку больших фундаментальных моделей, чем их безопасность. Именно поэтому эксперт считает, что существует риск в части ИБ: утечки данных через промпты, RAG-контуры и дообучение, защита весов моделей, аудит действий ИИ-агентов и обязательное тестирование ИИ-систем перед внедрением в критичные процессы.
Помимо этого, Векессер подчеркнул, что инициатива способна повлиять на рынок AI Security в связи с активным внедрением ИИ в государство: «Наиболее востребованы будут решения для безопасного внедрения LLM: LLM-firewall, защита от prompt injection, контроль RAG-баз, аудит и мониторинг ИИ-агентов, проверка качества и происхождения данных».
«Формально порядок наведен, но риски — включая использование непроверенных данных, наличие логических ошибок и уязвимостей в архитектуре модели — никуда не делись», — прокомментировал законопроект старший управляющий директор AppSec Solutions Антон Башарин. Эксперт отметил, что без слоя требований к верификации и контролю на всем жизненном цикле системы закон останется просто «декларацией» о поддержке отрасли, но не эффективным инструментом по управлению киберрисками.
В Cloud.ru отметили, что с инженерной точки зрения безопасность ИИ-системы определяется не только тем, кто разработал модель, но и всем контуром ее эксплуатации: где физически происходит инференс, как организована обработка данных и кто контролирует инфраструктуру, на которой работает модель. «Требование локализации обработки данных на территории России отражает именно эту логику: контроль над полным жизненным циклом модели — от развертывания до эксплуатации — повышает предсказуемость и управляемость системы», — поделились в пресс-службе Cloud.ru.
Руководитель группы «Безопасная разработка» «Кросстеха» Антон Редько подчеркнул, что, если государство будет использовать только отечественные модели ИИ в критической инфраструктуре, это не значит, что уровень безопасности будет автоматически выше. Эксперт считает, что уровень безопасности, в первую очередь, зависит не от того, что внутри модели, а от того, как ее обучают и поддерживают, как она защищена. «Если база обучающих данных, например, имеет слишком широкий доступ и подвержена отравлению, то иностранная модель, в которой такой проблемы нет, может оказаться безопаснее для критических объектов», — заключил эксперт.
«Риск отставания от глобального темпа»
Директор по управлению проектами направления генеративного ИИ «Рексофт» Юрий Шевченко в комментарии для SecPost отметил, что законопроект «несет риск отставания от глобального темпа». Эксперт предполагает, что если требования локализации окажутся слишком жесткими на практике, это может привести к замедлению разработчиков, которым нужен доступ к мировым данным и вычислениям. Помимо этого, Шевченко выделил риск «бумажного» суверенитета — формальный статус «национальной/суверенной» модели не будет гарантировать качество. Эксперт считает, что важен факт реальной технологической поддержки, а не галочки в реестре.
Другой фактор риска отмечает руководитель направления Data Science компании «Наносемантика» Егор Кириллов. По мнению эксперта, законопроект создает угрозу монополии: «Требования к локализации и жесткий контроль моделей от 1 млрд параметров могут закрепить доминирование крупнейших экосистем (прежде всего, Яндекса и Сбера). Небольшим стартапам будет крайне сложно соответствовать новым критериям суверенности из-за дефицита вычислительных мощностей и бюджетов».
«Главный риск — в том, что закон пока регулирует безопасность ИИ на слишком общем уровне. В нём уже есть правильная декларация риск-ориентированного подхода и обязанности разработчиков суверенных и национальных моделей принимать организационные и технические меры безопасности. Но этого недостаточно для практической ИБ» — отметил еще один риск операционный директор разработчика платформы Kodik компании «АрхиТехИИ» Артем Карпов
Ранее SecPost писал о другом проекте, внесенном в Госдуму, который обязывает операторов платного ТВ и стриминговых платформ с 1 января 2027 года перейти на отечественные системы CAS и DRM. Авторы законопроекта объяснили инициативу снижением зависимости от зарубежных платформ, защитой от киберпиратства и сокращением лицензионных платежей зарубежным компаниям. В комментарии для SecPost эксперты отметили, что такое решение не решит проблему современного пиратства, поскольку оно связано с рестримингом уже расшифрованного контента.
