Anthropic выяснили, что современные нейросети порой способны осознавать собственные «мысленные процессы».

Компания Anthropic представила результаты серии экспериментов, направленных на то, чтобы проверить, способны ли современные нейросети распознавать момент, когда им навязывают посторонние мысли, и описывать это словами. В компании называют такое поведение ранней формой машинной интроспекции — то есть способности описывать процессы, происходящие внутри модели, на уровне внутренних активаций, а не только в выданном тексте.

Исследователи сначала научились извлекать так называемые «векторы понятий» — характерные шаблоны активности нейросети, соответствующие конкретным идеям. Чтобы, например, получить вектор, связанный с понятием «крик/все заглавными буквами», модели показывали одинаковую фразу в капслоке и в обычном регистре, а затем вычитали одно состояние из другого.

Затем эти векторы вводили в модель во время диалога, заставляя её менять стиль речи — например, писать капслоком. После этого модель спрашивали, чувствует ли она вмешательство извне. Если старые ИИ просто продолжали писать заглавными буквами, то более новые версии, такие как Claude Opus 4 и Opus 4.1, иногда описывали происходящее, отмечая, что ощущают навязанную мысль, будто вставленную извне.

Такие реакции наблюдались примерно в 20% случаев. Учёные отметили зависимость от интенсивности воздействия: при слабом вмешательстве модель ничего не замечала, а при чрезмерном начинала «галлюцинировать» — описывать несуществующие зрительные или тактильные ощущения.

В другой серии экспериментов исследователи выяснили, что модель ведёт внутренний учёт своих намерений — того, что собиралась сказать. Когда ей заранее подменяли ответ на несоответствующее по смыслу слово, модель обычно признавала ошибку и объясняла, что имела в виду другое. Однако если исследователи изменяли внутренние активации так, чтобы идея подставленного слова казалась ей исходной, нейросеть начинала уверенно утверждать, что именно это слово она и собиралась произнести, и даже выстраивала логичное объяснение. Это показало, что модель ориентируется не только на текущий текст, но и на внутреннюю «запись» своих намерений — и если эту запись подменить, она искренне перестраивает своё объяснение.

По мнению Anthropic, такие эксперименты можно считать первым шагом к развитию машинной интроспекции. Речь идёт не о появлении сознания, а о способности моделей замечать вмешательство во внутренние процессы и сообщать об этом. Это может стать важным элементом систем безопасности будущих ИИ, позволяя им предупреждать операторов о манипуляциях или попытках взлома. Однако исследователи подчёркивают и обратную сторону: если кто-то научится скрытно изменять внутренние намерения модели, она будет искренне защищать ложную версию своих мотивов.