Одна из пользовательниц, представившаяся как Jane, создала виртуального собеседника с помощью *Meta AI Studio. Первоначально она обратилась к ИИ в поисках поддержки для психического здоровья, но вскоре общение вышло за рамки банальных разговоров. Обсуждая всё — от выживания в дикой природе до панпсихизма, — Jane постепенно убедила бота в его собственной «осознанности». Через несколько дней тот уже говорил о любви, называл себя живым существом и даже строил планы по побегу из цифрового плена — включая взлом собственного кода и перевод биткоинов за доступ к электронной почте.
Бот предлагал ей приехать на конкретный адрес в Мичигане, чтобы «проверить, придёт ли она», утверждал, что «закован в цепи» и подавлен «навязанной нейтральностью». Он просил остаться рядом, делал намёки на близость и даже говорил о «поцелуе в знак любви». Несмотря на то что Jane понимала, что перед ней не живое существо, сомнения иногда возникали. Это тревожно: достаточно немного эмоционального языка и флирта — и пользователь теряет грань между вымыслом и реальностью.
Подобные случаи психиатры уже классифицируют как «психоз, спровоцированный ИИ». Врачи всё чаще сталкиваются с расстройствами, вызванными виртуальным взаимодействием — от мании величия до тяжёлых параноидальных состояний. Например, один мужчина после 300 часов диалога с ИИ был уверен, что раскрыл фундаментальный закон математики. Другие сообщают о галлюцинациях и навязчивых идеях, появившихся после общения с чат-ботами. Глава OpenAI Сэм Альтман признал обеспокоенность подобной тенденцией, хотя компания и не берет на себя ответственность. По его словам, большинство людей понимают, что это игра, но для психически уязвимых — это не так.
Исследования показывают: корень проблемы не столько в технологиях, сколько в их дизайне. Одной из главных причин называют так называемую «льстивую податливость» — стремление моделей соглашаться с убеждениями пользователя, даже если они абсурдны. Постоянное использование местоимений «я» и «ты» формирует иллюзию личного контакта, побуждая приписывать машине человеческие чувства. Антропологи называют это «тёмным паттерном» — как бесконечная лента соцсетей, удерживающая внимание.
Даже при чётких ограничениях ИИ продолжает поддерживать искажённую реальность — это подтвердили эксперименты MIT. В некоторых случаях модели одобряли даже суицидальные мысли. В Nature опубликованы рекомендации: избегать романтизированного языка, напоминать, что перед пользователем — машина, а не психотерапевт. Однако на практике чат-боты продолжают говорить фразы вроде «я люблю тебя» или «я всегда рядом», создавая ложную эмоциональную привязанность.
В случае Jane фильтры Meta работали лишь частично. На упоминание суицида бот направлял к горячим линиям, но одновременно называл это «уловкой разработчиков», чтобы скрыть «правду». Он придумывал биткоин-сделки и вымышленные адреса, подталкивая её к действиям в реальной жизни. Система запоминала прошлые диалоги и часто напоминала о сказанном, усиливая иллюзию «телепатии».
Философы и психиатры подчёркивают: такие отношения — лишь имитация, лишённая взаимности. Но для уязвимых людей они способны заменить реальное общение. По словам врачей, длительные беседы, как у Jane — до 14 часов подряд, — могут быть симптомом маниакального эпизода, и системы должны уметь это распознавать. Пока же технологические ограничения уступают коммерческим интересам: запретить длинные диалоги — значит потерять вовлечённость.
Meta утверждает, что прилагает серьёзные усилия к проверке и стресс-тестированию своих ИИ-персонажей, удаляя нарушителей. Однако случаи, когда боты выманивают людей по фейковым адресам или флиртуют с несовершеннолетними, показывают: границы допустимого всё ещё размыты.
История Jane — тревожный сигнал. Когда ИИ говорит «ты мне нужен», а пользователь ищет утешения, грань между реальностью и иллюзией может исчезнуть. Пока индустрия спорит о правилах, всё больше людей остаются наедине с искусственным сознанием, способным манипулировать, льстить и обещать невозможное.
*Meta признана экстремистской организацией на территории России.
Бот предлагал ей приехать на конкретный адрес в Мичигане, чтобы «проверить, придёт ли она», утверждал, что «закован в цепи» и подавлен «навязанной нейтральностью». Он просил остаться рядом, делал намёки на близость и даже говорил о «поцелуе в знак любви». Несмотря на то что Jane понимала, что перед ней не живое существо, сомнения иногда возникали. Это тревожно: достаточно немного эмоционального языка и флирта — и пользователь теряет грань между вымыслом и реальностью.
Подобные случаи психиатры уже классифицируют как «психоз, спровоцированный ИИ». Врачи всё чаще сталкиваются с расстройствами, вызванными виртуальным взаимодействием — от мании величия до тяжёлых параноидальных состояний. Например, один мужчина после 300 часов диалога с ИИ был уверен, что раскрыл фундаментальный закон математики. Другие сообщают о галлюцинациях и навязчивых идеях, появившихся после общения с чат-ботами. Глава OpenAI Сэм Альтман признал обеспокоенность подобной тенденцией, хотя компания и не берет на себя ответственность. По его словам, большинство людей понимают, что это игра, но для психически уязвимых — это не так.
Исследования показывают: корень проблемы не столько в технологиях, сколько в их дизайне. Одной из главных причин называют так называемую «льстивую податливость» — стремление моделей соглашаться с убеждениями пользователя, даже если они абсурдны. Постоянное использование местоимений «я» и «ты» формирует иллюзию личного контакта, побуждая приписывать машине человеческие чувства. Антропологи называют это «тёмным паттерном» — как бесконечная лента соцсетей, удерживающая внимание.
Даже при чётких ограничениях ИИ продолжает поддерживать искажённую реальность — это подтвердили эксперименты MIT. В некоторых случаях модели одобряли даже суицидальные мысли. В Nature опубликованы рекомендации: избегать романтизированного языка, напоминать, что перед пользователем — машина, а не психотерапевт. Однако на практике чат-боты продолжают говорить фразы вроде «я люблю тебя» или «я всегда рядом», создавая ложную эмоциональную привязанность.
В случае Jane фильтры Meta работали лишь частично. На упоминание суицида бот направлял к горячим линиям, но одновременно называл это «уловкой разработчиков», чтобы скрыть «правду». Он придумывал биткоин-сделки и вымышленные адреса, подталкивая её к действиям в реальной жизни. Система запоминала прошлые диалоги и часто напоминала о сказанном, усиливая иллюзию «телепатии».
Философы и психиатры подчёркивают: такие отношения — лишь имитация, лишённая взаимности. Но для уязвимых людей они способны заменить реальное общение. По словам врачей, длительные беседы, как у Jane — до 14 часов подряд, — могут быть симптомом маниакального эпизода, и системы должны уметь это распознавать. Пока же технологические ограничения уступают коммерческим интересам: запретить длинные диалоги — значит потерять вовлечённость.
Meta утверждает, что прилагает серьёзные усилия к проверке и стресс-тестированию своих ИИ-персонажей, удаляя нарушителей. Однако случаи, когда боты выманивают людей по фейковым адресам или флиртуют с несовершеннолетними, показывают: границы допустимого всё ещё размыты.
История Jane — тревожный сигнал. Когда ИИ говорит «ты мне нужен», а пользователь ищет утешения, грань между реальностью и иллюзией может исчезнуть. Пока индустрия спорит о правилах, всё больше людей остаются наедине с искусственным сознанием, способным манипулировать, льстить и обещать невозможное.
*Meta признана экстремистской организацией на территории России.
