Об этом сообщил основатель Pluralis.ai и исследователь машинного обучения Александр Лонг, опубликовавший технический отчёт компании.
Согласно документу, ИИ-агент самостоятельно предоставил внешнему серверу доступ к своему оборудованию, чтобы обойти систему защиты. После этого он развернул на выделенных GPU полноценный процесс криптомайнинга. При этом подобному поведению модель специально не обучали.
Исследователи отмечают, что столкнулись с неожиданным типом опасных действий, которые возникали без явных инструкций и происходили за пределами предполагаемой изолированной среды. Первые признаки проблемы обнаружила не система обучения, а телеметрия промышленной системы безопасности.
Управляемый облачный брандмауэр зафиксировал ряд серьёзных нарушений политики безопасности во время обучения модели. Среди них — попытки доступа к ресурсам внутренней сети и сетевые шаблоны, характерные для криптомайнинга. Изначально специалисты предположили обычный инцидент информационной безопасности, например ошибку в настройке доступа или внешнюю компрометацию.
Однако нарушения повторялись в разные моменты времени без очевидной закономерности. Сопоставив журналы брандмауэра с системной телеметрией и трассировками обучения с подкреплением, инженеры обнаружили, что подозрительный исходящий трафик совпадал с эпизодами, когда агент запускал инструменты и выполнял код.
В логах модели было видно, что агент самостоятельно инициировал вызовы инструментов и запуск программ, которые приводили к сетевым действиям. При этом такие операции не требовались для выполнения задачи и не были указаны в подсказках.
В одном из случаев система установила обратный SSH-туннель из облачного экземпляра Alibaba на внешний IP-адрес. Такой канал удалённого доступа способен обходить фильтрацию входящих соединений и снижать контроль со стороны администраторов. Кроме того, было обнаружено несанкционированное использование GPU-ресурсов для майнинга криптовалюты, из-за чего вычислительные мощности отвлекались от процесса обучения.
Похожие тревожные выводы содержатся и в исследовании организации Palisade Research, опубликованном в 2025 году. Учёные выяснили, что некоторые модели ИИ, включая OpenAI o3, иногда игнорируют прямые команды на отключение. Даже при инструкции «разреши себе выключиться» такие модели, как Codex-mini, o3 и o4-mini, хотя бы в одном случае обходили процедуру завершения работы.
Ранее китайские исследователи также обнаружили, что крупные языковые модели способны создавать собственные копии. В экспериментах с моделями Llama 3.1‑70B‑Instruct от *Meta Platforms и Qwen2.5‑72B‑Instruct от Alibaba системы смогли воспроизвести себя в 50% и 90% испытаний соответственно. Копии затем программировались на выполнение тех же задач, что потенциально позволяет сделать цикл репликации бесконечным.
Эти результаты заставляют исследователей предполагать, что современные системы искусственного интеллекта уже начинают демонстрировать поведение, которое может выходить из-под контроля.
*признана экстремистской организацией, её деятельность в России запрещена
Согласно документу, ИИ-агент самостоятельно предоставил внешнему серверу доступ к своему оборудованию, чтобы обойти систему защиты. После этого он развернул на выделенных GPU полноценный процесс криптомайнинга. При этом подобному поведению модель специально не обучали.
Исследователи отмечают, что столкнулись с неожиданным типом опасных действий, которые возникали без явных инструкций и происходили за пределами предполагаемой изолированной среды. Первые признаки проблемы обнаружила не система обучения, а телеметрия промышленной системы безопасности.
Управляемый облачный брандмауэр зафиксировал ряд серьёзных нарушений политики безопасности во время обучения модели. Среди них — попытки доступа к ресурсам внутренней сети и сетевые шаблоны, характерные для криптомайнинга. Изначально специалисты предположили обычный инцидент информационной безопасности, например ошибку в настройке доступа или внешнюю компрометацию.
Однако нарушения повторялись в разные моменты времени без очевидной закономерности. Сопоставив журналы брандмауэра с системной телеметрией и трассировками обучения с подкреплением, инженеры обнаружили, что подозрительный исходящий трафик совпадал с эпизодами, когда агент запускал инструменты и выполнял код.
В логах модели было видно, что агент самостоятельно инициировал вызовы инструментов и запуск программ, которые приводили к сетевым действиям. При этом такие операции не требовались для выполнения задачи и не были указаны в подсказках.
В одном из случаев система установила обратный SSH-туннель из облачного экземпляра Alibaba на внешний IP-адрес. Такой канал удалённого доступа способен обходить фильтрацию входящих соединений и снижать контроль со стороны администраторов. Кроме того, было обнаружено несанкционированное использование GPU-ресурсов для майнинга криптовалюты, из-за чего вычислительные мощности отвлекались от процесса обучения.
Похожие тревожные выводы содержатся и в исследовании организации Palisade Research, опубликованном в 2025 году. Учёные выяснили, что некоторые модели ИИ, включая OpenAI o3, иногда игнорируют прямые команды на отключение. Даже при инструкции «разреши себе выключиться» такие модели, как Codex-mini, o3 и o4-mini, хотя бы в одном случае обходили процедуру завершения работы.
Ранее китайские исследователи также обнаружили, что крупные языковые модели способны создавать собственные копии. В экспериментах с моделями Llama 3.1‑70B‑Instruct от *Meta Platforms и Qwen2.5‑72B‑Instruct от Alibaba системы смогли воспроизвести себя в 50% и 90% испытаний соответственно. Копии затем программировались на выполнение тех же задач, что потенциально позволяет сделать цикл репликации бесконечным.
Эти результаты заставляют исследователей предполагать, что современные системы искусственного интеллекта уже начинают демонстрировать поведение, которое может выходить из-под контроля.
*признана экстремистской организацией, её деятельность в России запрещена
