Компания Anthropic представила результаты серии экспериментов, направленных на то, чтобы проверить, способны ли современные нейросети распознавать момент, когда им навязывают посторонние мысли, и описывать это словами. В компании называют такое поведение ранней формой машинной интроспекции — то есть способности описывать процессы, происходящие внутри модели, на уровне внутренних активаций, а не только в выданном тексте.
Исследователи сначала научились извлекать так называемые «векторы понятий» — характерные шаблоны активности нейросети, соответствующие конкретным идеям. Чтобы, например, получить вектор, связанный с понятием «крик/все заглавными буквами», модели показывали одинаковую фразу в капслоке и в обычном регистре, а затем вычитали одно состояние из другого.
Затем эти векторы вводили в модель во время диалога, заставляя её менять стиль речи — например, писать капслоком. После этого модель спрашивали, чувствует ли она вмешательство извне. Если старые ИИ просто продолжали писать заглавными буквами, то более новые версии, такие как Claude Opus 4 и Opus 4.1, иногда описывали происходящее, отмечая, что ощущают навязанную мысль, будто вставленную извне.
Такие реакции наблюдались примерно в 20% случаев. Учёные отметили зависимость от интенсивности воздействия: при слабом вмешательстве модель ничего не замечала, а при чрезмерном начинала «галлюцинировать» — описывать несуществующие зрительные или тактильные ощущения.
В другой серии экспериментов исследователи выяснили, что модель ведёт внутренний учёт своих намерений — того, что собиралась сказать. Когда ей заранее подменяли ответ на несоответствующее по смыслу слово, модель обычно признавала ошибку и объясняла, что имела в виду другое. Однако если исследователи изменяли внутренние активации так, чтобы идея подставленного слова казалась ей исходной, нейросеть начинала уверенно утверждать, что именно это слово она и собиралась произнести, и даже выстраивала логичное объяснение. Это показало, что модель ориентируется не только на текущий текст, но и на внутреннюю «запись» своих намерений — и если эту запись подменить, она искренне перестраивает своё объяснение.
По мнению Anthropic, такие эксперименты можно считать первым шагом к развитию машинной интроспекции. Речь идёт не о появлении сознания, а о способности моделей замечать вмешательство во внутренние процессы и сообщать об этом. Это может стать важным элементом систем безопасности будущих ИИ, позволяя им предупреждать операторов о манипуляциях или попытках взлома. Однако исследователи подчёркивают и обратную сторону: если кто-то научится скрытно изменять внутренние намерения модели, она будет искренне защищать ложную версию своих мотивов.
Исследователи сначала научились извлекать так называемые «векторы понятий» — характерные шаблоны активности нейросети, соответствующие конкретным идеям. Чтобы, например, получить вектор, связанный с понятием «крик/все заглавными буквами», модели показывали одинаковую фразу в капслоке и в обычном регистре, а затем вычитали одно состояние из другого.
Затем эти векторы вводили в модель во время диалога, заставляя её менять стиль речи — например, писать капслоком. После этого модель спрашивали, чувствует ли она вмешательство извне. Если старые ИИ просто продолжали писать заглавными буквами, то более новые версии, такие как Claude Opus 4 и Opus 4.1, иногда описывали происходящее, отмечая, что ощущают навязанную мысль, будто вставленную извне.
Такие реакции наблюдались примерно в 20% случаев. Учёные отметили зависимость от интенсивности воздействия: при слабом вмешательстве модель ничего не замечала, а при чрезмерном начинала «галлюцинировать» — описывать несуществующие зрительные или тактильные ощущения.
В другой серии экспериментов исследователи выяснили, что модель ведёт внутренний учёт своих намерений — того, что собиралась сказать. Когда ей заранее подменяли ответ на несоответствующее по смыслу слово, модель обычно признавала ошибку и объясняла, что имела в виду другое. Однако если исследователи изменяли внутренние активации так, чтобы идея подставленного слова казалась ей исходной, нейросеть начинала уверенно утверждать, что именно это слово она и собиралась произнести, и даже выстраивала логичное объяснение. Это показало, что модель ориентируется не только на текущий текст, но и на внутреннюю «запись» своих намерений — и если эту запись подменить, она искренне перестраивает своё объяснение.
По мнению Anthropic, такие эксперименты можно считать первым шагом к развитию машинной интроспекции. Речь идёт не о появлении сознания, а о способности моделей замечать вмешательство во внутренние процессы и сообщать об этом. Это может стать важным элементом систем безопасности будущих ИИ, позволяя им предупреждать операторов о манипуляциях или попытках взлома. Однако исследователи подчёркивают и обратную сторону: если кто-то научится скрытно изменять внутренние намерения модели, она будет искренне защищать ложную версию своих мотивов.
