Хакеры начали использовать ИИ от Google в своих атаках
Аналитики Google Threat Intelligence Group (GTIG) — подразделения киберразведки Google — зафиксировали попытки попытки создать модель-реплику, имитирующую Gemini, через ее API. В том же отчете говорится и о росте использования модели государственными группами на разных этапах кибератак.
В опубликованном анализе описаны случаи так называемых distillation-атак в отношении моделей Gemini. Речь идет о попытке создать упрощенную копию модели через ее API: злоумышленник направляет большое количество специально подобранных запросов, сохраняет ответы и использует их для обучения собственной версии модели. Это не взлом инфраструктуры, а попытка «снять слепок» с поведения LLM через легитимный интерфейс.
В одном из эпизодов было зафиксировано более 100 000 запросов, направленных на извлечение цепочек рассуждений модели. По данным Google, такие действия были обнаружены и остановлены.
TARGET: Proprietary LLM — Цель: проприетарная LLM; Mature Large Language Model — Зрелая большая языковая модель; prompts — запросы; response — ответ;
ADVERSARY: “Black Box” Attack — Атакующий: атака «черного ящика»; Actor — субъект атаки; Data — данные;
RESULT: “Student” Model Replica — Результат: «student»-копия модели; Distilled Model — Дистиллированная модель; training — обучение; Legitimate Access — Легитимный доступ; Extraction — Извлечение; Knowledge Distillation — Дистилляция знаний.
Источник: Google Cloud.
Отдельная часть отчета касается уже использования ИИ в реальных операциях. Государственные группы из КНР, Ирана, КНДР и России применяли LLM для разведки целей, подготовки фишинговых сообщений, анализа уязвимостей и автоматизации посткомпрометационных действий.
В частности, языковые модели использовались для подготовки правдоподобных сценариев контакта, профилирования сотрудников оборонных и технологических компаний, а также для анализа технической документации и уязвимостей. Отмечается рост «диалогового фишинга», когда модель поддерживает переписку с жертвой до момента передачи вредоносной нагрузки.
Initial Compromise — Первичная компрометация; Establish Foothold — Закрепление в системе; Maintain Presence — Сохранение присутствия; Escalate Privilege — Эскалация привилегий; Internal Reconnaissance — Внутренняя разведка; Move Laterally — Скрытое перемещение; Complete Mission — Завершение операции
Источник: Google Cloud.
Дополнительно фиксируется развитие подпольного рынка «jailbreak»-инструментов и сервисов, которые позиционируются как автономные вредоносные модели, но фактически используют коммерческие AI-API и открытые серверы.
В Google подчеркивают, что попытки копирования LLM Gemini не создают прямой угрозы пользователям сервисов, однако могут представлять риск для компаний, разрабатывающих и коммерциализирующих собственные языковые модели, поскольку направлены на воспроизведение их интеллектуальной работы. При этом использование LLM в атаках уже стало практическим инструментом — ИИ ускоряет и масштабирует операции, хотя полностью автономных «самоуправляемых» кампаний пока не зафиксировано.
Читайте также
