Аппарат правительства России будет использовать ИИ в своей работе: эксперты предупреждают о рисках

В аппарате правительства протестировали использование ИИ-сервисов «Сбера» и «Яндекса» в работе структурных подразделений и пришли к выводу, что внедрять их целесообразно. Пилотный проект проходил под руководством зампреда правительства — руководителя аппарата правительства Дмитрия Григоренко, пишет пресс-служба правительства. 

Тест затронул восемь подразделений аппарата и продолжался полгода. ИИ использовали для помощи в формировании кратких справок, сравнения версий документов, составления протоколов совещаний. Также алгоритмы использовались для решения рутинных задач. Подчеркивается, что во всех сценариях ИИ использовался как технический ассистент — финальное решение оставалось за ответственным сотрудником.

Власти использовали «ГигаЧат», «Нейроюриста» и «Алису AI». Отмечается, что более 80% участников пилотного проекта активно использовали эти решения в своей работе. Участникам пилотного проекта была доступна база типовых сценариев применения ИИ и более 150 заранее заготовленных промптов.

Из сообщения следует, что безопасность работы ИИ-сервисов обеспечивалась посредством выстраивания особой двухконтурной архитектуры с размещением серверов на территории Дома правительства. Работа с внутренними данными велась в изолированном служебном контуре, а в интернет-контуре — с открытыми источниками.

Руководитель направления развития продуктов кибербезопасности Cloud.ru Максим Долгинин считает, что за фразой о двухконтурной архитектуре «кроется больше, чем просто изоляция модели». Эксперт подчеркивает, что размещение модели в закрытом контуре — «безусловно важная мера», которая позволяет избежать утечки чувствительных данных. «В данном случае стоит отметить, что использовались доверенные модели от ведущих российских компаний, обученные на доверенных данных. Это не менее важный фактор, влияющий на безопасность», — подчеркивает Долгинин.

Руководитель направления по взаимодействию с регуляторами Swordfish Security Альбина Аскерова называет двухконтурную архитектуру «absolutely correct and necessary step». Однако она обращает внимание на внутренние риски, такие как, например, возможность «взлома» самой модели через специально сформированные запросы (промпт-инъекции) или неверные решения, основанные на незамеченных ошибках в обучающих данных.

«Поэтому крайне важно дополнять подход к защите постоянным мониторингом безопасности ИИ, анализом защищенности моделей, анализом легитимности запросов к модели и её ответов», — подчеркивает Аскерова.

Эксперт также обратила внимание, что с учётом прикладной области тестирования основные риски использования моделей могут быть связаны именно с утечкой конфиденциальных данных. Другая проблема в данном случае, по мнению эксперта, — это вероятность получения недостоверных ответов, так называемых «галлюцинаций». «При аналитической работе с ИИ-сервисами, особенно на таком высоком государственном уровне, очень важен контроль результата со стороны специалиста», — подчеркивает Аскерова.

«В первую очередь необходимо обратить внимание на внедрение системы контроля и верификации всех ответов ИИ и строгую локализацию данных, а также на создание и соблюдение внутренних политик, определяющих, какие данные и с какой целью можно передавать в ИИ-сервисы», — делится рекомендациями Аскерова.

Самая большая проблема использования AI — это «ленивое следование рекомендациям модели», для которой решение вопроса это просто математическое предсказание ответа, считает архитектор по информационной безопасности Getmobit Султан Салпагаров. Эксперт считает, что тестирование в аппарате правительства хорошо именно тем, что позволит выявить этот «сугубо человеческий» фактор риска, не подвергая опасности сам процесс принятия значимых решений.

«Кроме того, это хороший способ определить готовность отечественной AI-индустрии для применимости на официальном уровне, потому что другим моделям в государственные учреждения путь закрыт a priori», — говорит Салпагаров.

О перспективах гос-AI, считает Салпагаров, пока рано говорить — «об этом могут говорить только футурологи — это настолько преждевременно». Только опыт реального применения покажет, если «цифровой ассистент» точен и аккуратен, сумеют ли разработчики оградить пользователей «от соблазна перестать думать самим». Эксперт, впрочем, подчеркивает, что этот опыт «можно и нужно нарабатывать уже сейчас».

По словам Долгинина из Cloud.ru, перечень угроз, связанных с ИИ, довольно широк и нов. К ним он относит:

• Кражу данных — обучающие датасеты могут быть украдены и скомпрометированы;
• Data Poisoning — злоумышленники могут намеренно загрязнить обучающие данные, чтобы исказить поведение модели и заставить её выдавать неправильные или вредоносные результаты;
• Model Extraction — через серию целенаправленных запросов можно скопировать функциональность модели и украсть интеллектуальную собственность;
• Prompt Injection — класс атак, где вредоносные инструкции внедряются в промпты для манипуляции поведением языковой модели
• Supply Chain атаки — уязвимости в open-source библиотеках и в самих LLM могут быть использованы для компрометации всей цепочки поставок.

Долгинин подчеркивает, что каждая из этих угроз важна. И традиционные методы защиты неэффективны против современных ИИ-угроз, они требуют нового подхода к безопасности. IAM и Firewall — классические инструменты, но они бессильны против prompt-атак. Другая проблема — отсутствие видимости в поведении модели: невозможно прозрачно отследить, как и почему модель принимает то или иное решение. И наконец, традиционные модели угроз разработаны для классических приложений и сетей, но не применимы к ИИ-системам, где угрозы исходят из самого взаимодействия с моделью.

«Нужна полностью новая парадигма безопасности, специально разработанная для AI-систем», — подчеркивает Долгинин. Он рекомендует обратить внимание на Data Trust — происхождение и качество данных должно быть проверено, они должны быть защищены от несанкционированного доступа и утечек. Также нужен Model Trust — контроль модели. Сама по себе модель — это программный код, который также может быть скомпрометирован, говорит Долгинин, поэтому необходимо версионирование всех изменений модели и проведение регулярных проверок на уязвимости и баги.

Другой важный элемент — Runtime Trust. Угрозы необходимо ждать и со стороны пользователей, которые непосредственно используют ИИ. По словам эксперта, через специальные запросы можно изменить поведение модели, заставить её отойти от системного промпта и скомпрометировать модель. Чтобы избежать этого, нужно постоянно мониторить поведение системы в реальных условиях и использовать инструменты контроля.

«Главная идея: доверие строится на каждом этапе жизненного цикла ИИ-системы, от подготовки данных до развёртывания в боевых условиях», — считает Долгинин.