Исследователи Натан Сандерс и Брюс Шнайдер опубликовали статью, в которой исследуют ошибки, совершаемые системами искусственного интеллекта. По их мнению, хотя большие языковые модели (LLM) способны выполнять множество задач, схожих с человеческими, они также допускают множество ошибок. При этом их ошибки отличаются от человеческих.
Как поясняют учёные, человеческие ошибки обычно группируются: если человек ошибается в математической задаче, скорее всего, он допустит ошибку и в других подобных задачах. Эти ошибки зависят от таких факторов, как усталость и невнимательность, и часто связаны с недостатком знаний: человек, совершающий ошибки в математике, скорее всего, не сможет ответить на другие математические вопросы.
Ошибки ИИ, напротив, происходят случайным образом, без видимой связи с конкретной темой, и равномерно распределяются по различным областям знаний. Модель может ошибиться как в математической задаче, так и в утверждении, что капуста ест коз.
«Необъяснимая непоследовательность в работе LLM снижает доверие к их выводам в сложных многоэтапных задачах. Если вы хотите использовать ИИ для решения бизнес-задач, недостаточно просто попросить модель объяснить, что делает продукт прибыльным; нужно быть уверенным, что она не забудет, что такое деньги», — пишут авторы.
Кроме того, LLM склонны повторять слова и фразы, часто встречающиеся в обучающих наборах данных, например, угадывать популярные названия мест, даже если речь идёт о малоизвестных локациях.
Некоторые ошибки ИИ более «человекоподобны». Например, небольшие изменения в запросе могут привести к радикально разным ответам, что также наблюдается у людей. Кроме того, модели ИИ работают лучше, если им предложить вознаграждение или угрозу. Также было выяснено, что наиболее эффективные способы «взломать» модель (заставить её игнорировать ограничения) напоминают приёмы социальной инженерии, такие как притворство кем-то другим или утверждение, что запрос — это просто шутка.
«Люди могут совершать на первый взгляд случайные, непонятные и непоследовательные ошибки, но такие случаи часто указывают на более серьёзные проблемы. Мы также стараемся не ставить людей, демонстрирующих такое поведение, на должности, связанные с принятием решений. Аналогичным образом мы должны предоставлять ИИ-системам возможность принимать решения, на которые они способны, и помнить о возможных последствиях их ошибок», — заключают авторы.
Как поясняют учёные, человеческие ошибки обычно группируются: если человек ошибается в математической задаче, скорее всего, он допустит ошибку и в других подобных задачах. Эти ошибки зависят от таких факторов, как усталость и невнимательность, и часто связаны с недостатком знаний: человек, совершающий ошибки в математике, скорее всего, не сможет ответить на другие математические вопросы.
Ошибки ИИ, напротив, происходят случайным образом, без видимой связи с конкретной темой, и равномерно распределяются по различным областям знаний. Модель может ошибиться как в математической задаче, так и в утверждении, что капуста ест коз.
«Необъяснимая непоследовательность в работе LLM снижает доверие к их выводам в сложных многоэтапных задачах. Если вы хотите использовать ИИ для решения бизнес-задач, недостаточно просто попросить модель объяснить, что делает продукт прибыльным; нужно быть уверенным, что она не забудет, что такое деньги», — пишут авторы.
Кроме того, LLM склонны повторять слова и фразы, часто встречающиеся в обучающих наборах данных, например, угадывать популярные названия мест, даже если речь идёт о малоизвестных локациях.
Некоторые ошибки ИИ более «человекоподобны». Например, небольшие изменения в запросе могут привести к радикально разным ответам, что также наблюдается у людей. Кроме того, модели ИИ работают лучше, если им предложить вознаграждение или угрозу. Также было выяснено, что наиболее эффективные способы «взломать» модель (заставить её игнорировать ограничения) напоминают приёмы социальной инженерии, такие как притворство кем-то другим или утверждение, что запрос — это просто шутка.
«Люди могут совершать на первый взгляд случайные, непонятные и непоследовательные ошибки, но такие случаи часто указывают на более серьёзные проблемы. Мы также стараемся не ставить людей, демонстрирующих такое поведение, на должности, связанные с принятием решений. Аналогичным образом мы должны предоставлять ИИ-системам возможность принимать решения, на которые они способны, и помнить о возможных последствиях их ошибок», — заключают авторы.
