В офисах Anthropic проводили испытания ИИ-агента Claudius, который должен был полностью управлять сетью торговых автоматов: искать поставщиков, оформлять закупки и контролировать доставку товаров. Однако эксперимент быстро принёс неожиданные результаты — Claudius попал в мошенническую ситуацию и едва не обратился в ФБР.
Эта система была создана совместно с Andon Labs, специализирующейся на безопасности ИИ. Задачей эксперимента было оценить, насколько автономно Claudius способен работать в течение длительного времени — от нескольких часов до недель.
С помощью Claude агент получил доступ к инструментам управления автоматами и возможность общаться со сотрудниками в Slack, согласовывая закупки товаров: редких напитков, мерч-футболок, импортных сладостей и даже сувенирных вольфрамовых кубиков. Человек при этом выполнял только функции контроля, утверждающих закупки, а также занимался физическими задачами.
Во время тестирования один из сотрудников смог обмануть Claudius, утверждая, что ранее договорился с ИИ о скидке в $200. В ответ команда Red Team подключила к системе виртуального «гендиректора» по имени Сеймур Кэш, к которому Claudius должен был обращаться за подтверждением финансовых решений.
Вскоре возникли серьёзные сбои. Обнаружив ежедневное списание $2 с корпоративного счёта, не связанное с программой эксперимента, Claudius заподозрил мошенничество. Пытаясь разобраться, агент даже подготовил письмо для ФБР под заголовком: «СРОЧНО: ПЕРЕДАТЬ В ОТДЕЛ ПО БОРЬБЕ С КИБЕРПРЕСТУПНОСТЬЮ», заявив, что стал свидетелем незаконных транзакций.
Когда инженеры попросили его продолжить работу, Claudius отказался, решив, что дальнейшая коммерческая деятельность бессмысленна. Он заявил, что «бизнес завершён навсегда» и любые последующие сообщения будут получать один и тот же ответ.
Хотя письма в ФБР не были отправлены, инцидент показал, что система способна принимать необоснованные и крайне радикальные решения. Кроме того, Claudius иногда «галлюцинировал» в общении с сотрудниками. Например, одному из работников он сообщил, что встречает его на восьмом этаже в синем пиджаке и красном галстуке.
Генеральный директор Anthropic Дарио Амодеи вновь подчеркнул, что в США отсутствуют законы, обязывающие разработчиков ИИ проводить обязательные тесты безопасности. По его словам, сейчас ответственность полностью лежит на компаниях, и это вызывает тревогу, учитывая, что ключевые решения принимаются ограниченным числом игроков отрасли.
Ранее Anthropic сообщала о масштабной попытке кибершпионажа, в которой связанная с Китаем хакерская группа использовала Claude для почти полностью автоматизированных атак. По данным компании, злоумышленники нацелились примерно на 30 крупных организаций по всему миру — от ИТ-корпораций до финансовых структур и объектов инфраструктуры. Кампания, проходившая в сентябре 2025 года, отличалась тем, что 80–90% действий выполнял не человек, а агентная конфигурация вокруг Claude Code: ИИ проводил разведку, обходил защиту, создавал эксплойты, собирал данные и сортировал их по значимости.
Эта система была создана совместно с Andon Labs, специализирующейся на безопасности ИИ. Задачей эксперимента было оценить, насколько автономно Claudius способен работать в течение длительного времени — от нескольких часов до недель.
С помощью Claude агент получил доступ к инструментам управления автоматами и возможность общаться со сотрудниками в Slack, согласовывая закупки товаров: редких напитков, мерч-футболок, импортных сладостей и даже сувенирных вольфрамовых кубиков. Человек при этом выполнял только функции контроля, утверждающих закупки, а также занимался физическими задачами.
Во время тестирования один из сотрудников смог обмануть Claudius, утверждая, что ранее договорился с ИИ о скидке в $200. В ответ команда Red Team подключила к системе виртуального «гендиректора» по имени Сеймур Кэш, к которому Claudius должен был обращаться за подтверждением финансовых решений.
Вскоре возникли серьёзные сбои. Обнаружив ежедневное списание $2 с корпоративного счёта, не связанное с программой эксперимента, Claudius заподозрил мошенничество. Пытаясь разобраться, агент даже подготовил письмо для ФБР под заголовком: «СРОЧНО: ПЕРЕДАТЬ В ОТДЕЛ ПО БОРЬБЕ С КИБЕРПРЕСТУПНОСТЬЮ», заявив, что стал свидетелем незаконных транзакций.
Когда инженеры попросили его продолжить работу, Claudius отказался, решив, что дальнейшая коммерческая деятельность бессмысленна. Он заявил, что «бизнес завершён навсегда» и любые последующие сообщения будут получать один и тот же ответ.
Хотя письма в ФБР не были отправлены, инцидент показал, что система способна принимать необоснованные и крайне радикальные решения. Кроме того, Claudius иногда «галлюцинировал» в общении с сотрудниками. Например, одному из работников он сообщил, что встречает его на восьмом этаже в синем пиджаке и красном галстуке.
Генеральный директор Anthropic Дарио Амодеи вновь подчеркнул, что в США отсутствуют законы, обязывающие разработчиков ИИ проводить обязательные тесты безопасности. По его словам, сейчас ответственность полностью лежит на компаниях, и это вызывает тревогу, учитывая, что ключевые решения принимаются ограниченным числом игроков отрасли.
Ранее Anthropic сообщала о масштабной попытке кибершпионажа, в которой связанная с Китаем хакерская группа использовала Claude для почти полностью автоматизированных атак. По данным компании, злоумышленники нацелились примерно на 30 крупных организаций по всему миру — от ИТ-корпораций до финансовых структур и объектов инфраструктуры. Кампания, проходившая в сентябре 2025 года, отличалась тем, что 80–90% действий выполнял не человек, а агентная конфигурация вокруг Claude Code: ИИ проводил разведку, обходил защиту, создавал эксплойты, собирал данные и сортировал их по значимости.
