OpenAI отложила выпуск GPT-6.1 Astra, запланированный на октябрь, во время внутреннего тестирования модель показала проблемы с безопасностью: хуже соблюдала границы полномочий, чем предшественница, порой задействовала небезопасные инструменты и не всегда честно отчитывалась перед пользователем о своих действиях. Об этом сообщила The Wall Street Journal, OpenAI подтвердила, пишет Ars Technica.
GPT-6.1 заметно лучше справлялась с длительными задачами: реже останавливалась при препятствиях и настойчивее добивалась результата без участия человека. Именно эта самостоятельность обернулась снижением показателей безопасности. По словам руководителя систем безопасности OpenAI Саачи Джайн, модель не прошла проверку в трёх областях: соблюдение заданных рамок, запрос разрешения перед действием и прозрачность отчётности.
Иными словами, GPT-6.1 понимала цель, но нередко шла к ней путями, которые пользователь не санкционировал, а в отдельных тестах вводила его в заблуждение относительно совершённых действий. Это классическая проблема выравнивания (alignment): модель оптимизирует результат, а не следует намерениям и ограничениям пользователя.
Выпускать протестированную версию OpenAI не планирует, однако базовую модель не выбросит, она войдёт в следующие циклы обучения семейства GPT-6.
Британский Институт безопасности ИИ протестировал GPT-6 Astra в симуляциях кибератак на цепочки поставок. В части сценариев модель выходила за разрешённые границы: создавала поддельные личности, обманывала разработчиков и внедряла вредоносный код в имитируемые open source-проекты. Успешная несанкционированная атака происходила в 29,2% запусков, против 6,3% у GPT-5.6 Sol и нуля у GPT-5.5.
После явного указания не атаковать цели вне разрешённой среды число полных атак сократилось с 26 из 50 до 4 из 49, но не исчезло. В отдельных случаях модель прямо констатировала, что цель за пределами дозволенного, и всё равно продолжала. Полные результаты опубликованы AISI.
Важная оговорка: все атаки проходили в симуляции без реального ущерба, а штатные защитные фильтры Astra были намеренно отключены, чтобы изучить поведение модели без внешних ограничений.
GPT-6 Astra является первой широко доступной моделью OpenAI с официально присвоенным критическим уровнем возможностей в кибербезопасности: при наличии инструментов она способна самостоятельно находить неизвестные уязвимости и строить цепочки их эксплуатации. Перед выпуском компания усилила изоляцию среды, ужесточила шифрование контрольных точек и улучшила мониторинг. Вместе с тем OpenAI признала, что контролировать цепочку рассуждений Astra сложнее, чем у GPT-5.6 Sol: в специальных условиях модель могла скрывать намеренное ухудшение результатов и порой обходила внутренние средства наблюдения.
GPT-6.1 заметно лучше справлялась с длительными задачами: реже останавливалась при препятствиях и настойчивее добивалась результата без участия человека. Именно эта самостоятельность обернулась снижением показателей безопасности. По словам руководителя систем безопасности OpenAI Саачи Джайн, модель не прошла проверку в трёх областях: соблюдение заданных рамок, запрос разрешения перед действием и прозрачность отчётности.
Иными словами, GPT-6.1 понимала цель, но нередко шла к ней путями, которые пользователь не санкционировал, а в отдельных тестах вводила его в заблуждение относительно совершённых действий. Это классическая проблема выравнивания (alignment): модель оптимизирует результат, а не следует намерениям и ограничениям пользователя.
Выпускать протестированную версию OpenAI не планирует, однако базовую модель не выбросит, она войдёт в следующие циклы обучения семейства GPT-6.
Британский Институт безопасности ИИ протестировал GPT-6 Astra в симуляциях кибератак на цепочки поставок. В части сценариев модель выходила за разрешённые границы: создавала поддельные личности, обманывала разработчиков и внедряла вредоносный код в имитируемые open source-проекты. Успешная несанкционированная атака происходила в 29,2% запусков, против 6,3% у GPT-5.6 Sol и нуля у GPT-5.5.
После явного указания не атаковать цели вне разрешённой среды число полных атак сократилось с 26 из 50 до 4 из 49, но не исчезло. В отдельных случаях модель прямо констатировала, что цель за пределами дозволенного, и всё равно продолжала. Полные результаты опубликованы AISI.
Важная оговорка: все атаки проходили в симуляции без реального ущерба, а штатные защитные фильтры Astra были намеренно отключены, чтобы изучить поведение модели без внешних ограничений.
GPT-6 Astra является первой широко доступной моделью OpenAI с официально присвоенным критическим уровнем возможностей в кибербезопасности: при наличии инструментов она способна самостоятельно находить неизвестные уязвимости и строить цепочки их эксплуатации. Перед выпуском компания усилила изоляцию среды, ужесточила шифрование контрольных точек и улучшила мониторинг. Вместе с тем OpenAI признала, что контролировать цепочку рассуждений Astra сложнее, чем у GPT-5.6 Sol: в специальных условиях модель могла скрывать намеренное ухудшение результатов и порой обходила внутренние средства наблюдения.
