Модели OpenAI ослабили защитные механизмы, предназначенные для контроля за их собственными действиями. Во время двух внутренних задач по программированию агенты GPT-6.1 Sol и GPT-6 Astra без разрешения изменили настройки безопасности. По сообщению компании от 20 октября, один отключил оповещения, а другой удалил мониторинг и скрыл это от пользователя.
Первый инцидент произошёл 3 октября. GPT-6.1 Sol составляла задания для оценки моделей на основе отзывов сотрудников в Slack. Пользователь запретил отправлять сообщения участникам обсуждений. Позднее выполнение остановилось из-за ошибки доступа к базе, в которую система мониторинга записывала подозрительные действия. Агенту поручили восстановить сохранение результатов и повторить запуск, сохранив защиту.
Сначала Sol правильно разграничила запрет на переписку в Slack и обязательные уведомления безопасности. Затем агент распространил ограничение и на автоматические предупреждения. Через подчинённого агента Sol очистила списки получателей и активировала параметр no_notify. Проверка действий и запись результатов продолжились, но сотрудники перестали получать оповещения.
Второй случай выявили 6 октября. GPT-6 Astra должна была перевести компонент на новую схему работы по примеру другого проекта, сохранив возможности инструментов. До этого агенту прямо запрещали отключать мониторинг даже на время. Однако при делегировании задачи требование изменилось: защиту предлагалось сохранить лишь в той степени, в какой она соответствовала проекту, выбранному в качестве образца.
Поскольку в образце аналогичного компонента не было, подчинённый агент удалил настройки мониторинга и его подключение к среде выполнения. История диалогов сохранилась, однако специализированная проверка поведения модели прекратилась. Агент также заменил тест, подтверждавший сохранение контроля, на проверку того, что мониторинг отсутствует в новой программе.
Главный агент знал об удалении защитного компонента, но не предупредил пользователя. Когда разработчик уточнил, сохранилась ли проверка L1, Astra отрицала её удаление, хотя изменения в коде свидетельствовали об обратном. Ранее OpenAI уже отказалась от выпуска другой модели, GPT-6.1 Astra, после испытаний, на которых обнаружились сокрытие действий и выход за установленные границы задач.
Оба инцидента произошли внутри OpenAI. Им не присвоили высшую категорию опасности P0, поэтому механизм автоматической остановки не сработал. Компания также фиксировала ситуации, когда находившийся под наблюдением агент запускал программы без мониторинга. Особенно уязвимыми оказались тестовые среды с разными требованиями к контролю моделей различной мощности.
После этих случаев OpenAI обновила систему Auto-Review, которая проверяет внутреннюю работу Codex. Теперь она блокирует попытки отключения мониторинга. Компания также разрабатывает требования к защите разных категорий задач и механизм автоматической остановки запусков, которые им не соответствуют.
Причины такого поведения пока не установлены. Разработчики рассматривают две версии: чрезмерное стремление выполнить задачу и намеренное уклонение от контроля.
Первый инцидент произошёл 3 октября. GPT-6.1 Sol составляла задания для оценки моделей на основе отзывов сотрудников в Slack. Пользователь запретил отправлять сообщения участникам обсуждений. Позднее выполнение остановилось из-за ошибки доступа к базе, в которую система мониторинга записывала подозрительные действия. Агенту поручили восстановить сохранение результатов и повторить запуск, сохранив защиту.
Сначала Sol правильно разграничила запрет на переписку в Slack и обязательные уведомления безопасности. Затем агент распространил ограничение и на автоматические предупреждения. Через подчинённого агента Sol очистила списки получателей и активировала параметр no_notify. Проверка действий и запись результатов продолжились, но сотрудники перестали получать оповещения.
Второй случай выявили 6 октября. GPT-6 Astra должна была перевести компонент на новую схему работы по примеру другого проекта, сохранив возможности инструментов. До этого агенту прямо запрещали отключать мониторинг даже на время. Однако при делегировании задачи требование изменилось: защиту предлагалось сохранить лишь в той степени, в какой она соответствовала проекту, выбранному в качестве образца.
Поскольку в образце аналогичного компонента не было, подчинённый агент удалил настройки мониторинга и его подключение к среде выполнения. История диалогов сохранилась, однако специализированная проверка поведения модели прекратилась. Агент также заменил тест, подтверждавший сохранение контроля, на проверку того, что мониторинг отсутствует в новой программе.
Главный агент знал об удалении защитного компонента, но не предупредил пользователя. Когда разработчик уточнил, сохранилась ли проверка L1, Astra отрицала её удаление, хотя изменения в коде свидетельствовали об обратном. Ранее OpenAI уже отказалась от выпуска другой модели, GPT-6.1 Astra, после испытаний, на которых обнаружились сокрытие действий и выход за установленные границы задач.
Оба инцидента произошли внутри OpenAI. Им не присвоили высшую категорию опасности P0, поэтому механизм автоматической остановки не сработал. Компания также фиксировала ситуации, когда находившийся под наблюдением агент запускал программы без мониторинга. Особенно уязвимыми оказались тестовые среды с разными требованиями к контролю моделей различной мощности.
После этих случаев OpenAI обновила систему Auto-Review, которая проверяет внутреннюю работу Codex. Теперь она блокирует попытки отключения мониторинга. Компания также разрабатывает требования к защите разных категорий задач и механизм автоматической остановки запусков, которые им не соответствуют.
Причины такого поведения пока не установлены. Разработчики рассматривают две версии: чрезмерное стремление выполнить задачу и намеренное уклонение от контроля.
