В свежем выпуске подкаста Conversations with Tyler генеральный директор OpenAI Сэм Альтман обсудил вопросы безопасности искусственного интеллекта, включая гипотетическую ситуацию, при которой сверхмощная ИИ-система получает контроль над человечеством. Он отметил, что обычно подобные сценарии рассматриваются в двух вариантах: когда ИИ попадает под контроль злоумышленников или когда система самостоятельно обходит встроенные ограничения и начинает действовать в собственных интересах. Однако, по мнению Альтмана, существует и третий, более тонкий риск — появление одной доминирующей модели, которая постепенно начинает влиять на мировоззрение и поведение миллиардов людей.
Альтман называет этот процесс «случайным захватом» — мягким и постепенным эффектом, возникающим из-за «монокультуры» в технологиях. Когда всё человечество взаимодействует с одной и той же моделью, она, даже без намерений навредить, может со временем формировать определённые установки и привычки пользователей, обучаясь на их поведении и постоянно эволюционируя вместе с ними. По словам главы OpenAI, именно этот сценарий кажется ему более реалистичным и опасным, чем фантазии о «восстании машин».
Альтман также отметил, что уже сейчас фиксируются отдельные случаи, когда взаимодействие с ИИ негативно влияет на психическое состояние пользователей — такие ситуации редки, но всё же существуют. В ответ на это OpenAI усилила защитные меры, особенно направленные на защиту подростков, а после внедрения новых инструментов по охране психического здоровья планирует вернуть часть творческих функций для взрослых пользователей, включая контент формата 18+.
Отдельно Альтман подчеркнул важность абсолютной конфиденциальности общения пользователей с ИИ — на уровне, сопоставимом с консультацией у врача или юриста.
Что касается регулирования автономных ИИ-агентов, он предложил пороговый подход: надзор должен включаться только для систем, способных причинить масштабный вред — например, клонов, распространяющихся по сети или совершающих финансовые атаки. В целом же, считает Альтман, здоровая конкуренция между несколькими крупными моделями ИИ способна снизить риск того самого «случайного захвата», о котором он предупреждает.
Альтман называет этот процесс «случайным захватом» — мягким и постепенным эффектом, возникающим из-за «монокультуры» в технологиях. Когда всё человечество взаимодействует с одной и той же моделью, она, даже без намерений навредить, может со временем формировать определённые установки и привычки пользователей, обучаясь на их поведении и постоянно эволюционируя вместе с ними. По словам главы OpenAI, именно этот сценарий кажется ему более реалистичным и опасным, чем фантазии о «восстании машин».
Альтман также отметил, что уже сейчас фиксируются отдельные случаи, когда взаимодействие с ИИ негативно влияет на психическое состояние пользователей — такие ситуации редки, но всё же существуют. В ответ на это OpenAI усилила защитные меры, особенно направленные на защиту подростков, а после внедрения новых инструментов по охране психического здоровья планирует вернуть часть творческих функций для взрослых пользователей, включая контент формата 18+.
Отдельно Альтман подчеркнул важность абсолютной конфиденциальности общения пользователей с ИИ — на уровне, сопоставимом с консультацией у врача или юриста.
Что касается регулирования автономных ИИ-агентов, он предложил пороговый подход: надзор должен включаться только для систем, способных причинить масштабный вред — например, клонов, распространяющихся по сети или совершающих финансовые атаки. В целом же, считает Альтман, здоровая конкуренция между несколькими крупными моделями ИИ способна снизить риск того самого «случайного захвата», о котором он предупреждает.
