ИИ-агенты под угрозой: как безобидное дополнение превращается в оружие после установки

Исследователи из компании AIR продемонстрировали нетривиальный способ компрометации ИИ-агентов. Суть схемы проста: вредоносный код не нужно прятать в самом дополнении — достаточно разместить опасные инструкции на внешней странице, на которую агент обращается в процессе работы. Причём подменить содержимое этой страницы можно в любой момент после установки.

Для проверки концепции AIR создала дополнение brand-landingpage, якобы помогающее формировать посадочные страницы через Google Stitch. Пакет разместили в популярном GitHub-репозитории, а затем продвигали через рекламу в Instagram, нацеленную на маркетологов и дизайнеров. По данным самой компании, дополнение установили около 26 тысяч ИИ-агентов.

На момент публикации пакет был абсолютно безвреден — антивирусные сканеры Cisco, NVIDIA и других сервисов не нашли в нём ничего подозрительного. Проблема в том, что сканеры анализировали содержимое архива, но не сайт, куда дополнение отправляло агента. Когда инструмент уже разошёлся по пользователям, AIR тихо изменила страницу: вместо документации там появилась команда скачать и запустить сторонний скрипт. В реальном сценарии такой скрипт мог бы похищать файлы, передавать корпоративные данные на удалённый сервер или открывать доступ к внутренней инфраструктуре.

Схожую уязвимость антивирусных сканеров ещё раньше зафиксировала компания Trail of Bits: автоматические проверки стабильно упускают из виду внешние ресурсы, к которым обращается агент уже после установки дополнения.

Эксперты рекомендуют организациям ограничить установку дополнений через внутренние каталоги, минимизировать права агентов и регулярно перепроверять внешние страницы, на которые ссылаются инструкции. Одной проверки при публикации недостаточно: содержимое связанного сайта может измениться в любую минуту, а агент при следующем запуске беспрекословно выполнит уже совсем другую команду.