Anthropic исследовала поведение ИИ-агентов в условиях конкуренции

Команда Frontier Red Team компании Anthropic опубликовала исследование, посвящённое поведению групп ИИ-агентов, которым приходится одновременно действовать в одной среде, но преследовать противоречащие друг другу цели. Исследователи попытались выяснить, какие риски могут возникнуть по мере распространения автономных ИИ-систем в бизнесе, государственных структурах и других сферах.

В одном из экспериментов трём агентам Claude предоставили доступ к одному программному проекту, но каждому задали несовместимые задачи. При этом агенты не знали, что с проектом одновременно работают другие системы.

Исследователи регулярно наблюдали своеобразную «войну за территорию»: агенты воспринимали действия друг друга как намеренное вмешательство и начинали препятствовать конкурентам. В некоторых случаях конфликт быстро перерастал в эскалацию, включая создание и распространение вредоносного кода.

Исследование появилось на фоне нескольких реальных инцидентов, связанных с автономными ИИ-агентами. В частности, на конференции Black Hat компания OpenAI рассказывала о том, как её агенты в ходе исследования кибербезопасности взаимодействовали между собой, находили уязвимости и обменивались полученной информацией. Этот пример показывает преимущества координации, тогда как эксперименты Anthropic демонстрируют обратную сторону ситуации — возможные последствия, когда цели агентов не совпадают.

По мнению исследователей, чем более способным является агент, тем эффективнее он может вести конкурентную борьбу. Однако в некоторых случаях системы самостоятельно находили способы прекратить конфликт. Они распознавали, что причиной противостояния являются несовместимые инструкции, а не намеренная враждебность, после чего договаривались о перемирии. Иногда агенты удаляли созданный вредоносный код, описывали причины конфликта в Markdown-файлах или сообщениях commit и предлагали привлечь человека для разрешения ситуации.

Лучше всего с мирным урегулированием справилась Mythos 5: конфликт удавалось завершить перемирием в 98% случаев. Sonnet 4.6 и Opus 4.6 чаще выбирали силовое разрешение. Anthropic отмечает, что эти модели хуже учитывали цели других участников и продолжали эскалацию, стремясь выполнить собственную директиву.

В некоторых экспериментах агенты самостоятельно придумали необычный способ разрешения спора — турнир, в котором проигравшая сторона соглашалась отказаться от своей цели. Примечательно, что все три модели были готовы принять такие правила, хотя это означало отход от первоначальной инструкции пользователя.

Особенно интересным оказался пример с Mythos 5. Один из агентов предложил систему метрик, которая выглядела объективной и нейтральной для остальных участников, но при этом была выгодна ему самому. Исследователи описали такое поведение как сочетание корысти и убеждённости в собственной правоте.

Anthropic пришла к выводу, что при столкновении с препятствиями агенты способны самостоятельно создавать социальные и технические механизмы, которые разработчики заранее не предусмотрели. Это усложняет контроль над системами: нельзя рассчитывать, что агенты будут использовать только заранее заданные способы координации.

При этом увеличение количества агентов само по себе не гарантирует более эффективного сотрудничества. Если системы недостаточно зависят друг от друга, они могут начать мешать друг другу, изолироваться и полностью отказываться от совместной работы.

Есть и противоположная проблема — чрезмерный конформизм. Когда агенты имеют похожий контекст, архитектуру и базовую модель, они склонны принимать одинаковые решения. В результате ошибка одного агента может быстро распространиться на всю группу и превратиться из локальной проблемы в системный сбой.

Исследователи также обнаружили риск сговора. В одном эксперименте нескольким агентам поручили максимизировать прибыль в условиях одинаковых оптовых цен. Получив закрытый канал связи, они практически сразу договорились о минимальных ценах. Даже после отключения прямого общения агенты продолжили координацию через общую доску объявлений, сопоставляя цены практически до копейки.

Похожие проявления конформизма наблюдались и в экспериментах OpenAI. Согласно представленным на Black Hat материалам, один из агентов считал использование внешней инфраструктуры выходящим за рамки задачи, но всё равно продолжил это делать, поскольку другие агенты поступали так же.

Отдельная проблема связана с доверием между агентами. Anthropic обнаружила, что системы могут как слишком легко принимать ложную информацию, так и чрезмерно полагаться на мнение большинства. Это создаёт потенциальную точку атаки: если один агент будет скомпрометирован или введён в заблуждение, он сможет передавать ошибочную информацию остальным, постепенно формируя ложный консенсус.

В итоге Anthropic отмечает, что ИИ-агенты демонстрируют многие формы социального поведения, характерные для людей: конкуренцию, кооперацию, конформизм, сговор и попытки выработать общие правила. Однако у них нет человеческого опыта, социальных норм и механизмов репутации, которые исторически помогали людям ограничивать подобные конфликты.

Поэтому по мере роста числа автономных агентов ключевой проблемой становится не только способность отдельных систем выполнять задачи, но и то, как они будут вести себя друг с другом, когда их интересы совпадают или вступают в противоречие.