Приём, который научил нейросети не терять нить в длинных фразах, спустя несколько лет стал фундаментом ChatGPT, Claude и других современных ИИ. Механизм внимания даёт модели возможность на каждом шаге решать, какие фрагменты текста сейчас важнее остальных. Вот только уверенности в том, что именно этот принцип и есть разгадка интеллекта, у исследователей всё меньше.
Всё началось с вполне прозаической задачи — машинного перевода. Первые нейросети действовали в лоб: сжимали целое предложение в числовой код фиксированного размера, а потом разворачивали его в текст на другом языке. С короткими фразами они справлялись сносно, но чем длиннее становилось предложение, тем заметнее проседало качество — в тесное представление приходилось впихивать слишком много смысла.
В 2014 году Дмитрий Бахданау, Кёнхён Чо и Йошуа Бенжио предложили решение: механизм, позволяющий сети во время перевода вновь заглядывать в разные участки исходной фразы. Вместо того чтобы держать в памяти всё предложение разом, модель на каждом шаге прикидывала, какие слова важны именно сейчас. Этот приём авторы и назвали механизмом внимания.
Проще всего понять идею на двусмысленной фразе. В предложении «Животное не перешло улицу, потому что оно устало» слово «оно» отсылает к животному. Но стоит заменить «устало» на «оказалась слишком широкой» — и смысл уже указывает на улицу. При переводе на язык, где род местоимения зависит от существительного, машина обязана понять, к чему относится «оно». В английском, например, и улицу, и животное можно обозначить одним «it». Внимание даёт сети математический инструмент, чтобы отыскать нужную подсказку по всему предложению.
В 2017 году исследователи из Google пошли дальше и выстроили архитектуру, почти целиком стоящую на внимании. Так родился трансформер. Новый подход обрабатывал элементы текста параллельно и обучался быстрее прежних рекуррентных сетей. Сегодня именно трансформеры лежат в основе большинства крупных языковых моделей.
Внутри трансформера слова сперва переводятся в наборы чисел — векторы. Дальше модель сопоставляет их друг с другом и вычисляет, насколько сильно один кусок текста должен влиять на другой. Несколько так называемых голов внимания делают это параллельно: одна может улавливать грамматику, другая — смысл, третья — полезные связи между далеко разнесёнными частями фразы.
Никто не прописывает модели правило вида «животное способно устать, а улица — быть широкой». Все полезные закономерности сеть выстраивает сама в ходе обучения. После бесчисленных попыток угадать верное продолжение текста её параметры понемногу подстраиваются, и модель всё точнее определяет, какая информация из контекста пригодится прямо сейчас.
Любопытно, что тот же принцип выстрелил далеко за рамками перевода. Чтобы уверенно предсказывать следующий фрагмент текста, большой языковой модели волей-неволей приходится осваивать массу задач, встречающихся в обучающих данных: переводить, отвечать на вопросы, восстанавливать факты, разбираться в коде, что-то считать. Из, казалось бы, элементарной задачи выросли системы, которые ведут диалог и решают то, чему их намеренно не учили.
Один из создателей трансформера, Ллион Джонс, допускает куда более смелое толкование. Согласно его гипотезе об интеллекте, качественное предсказание следующего слова требует настолько широкого спектра умений, что само по себе языковое моделирование может оказаться близким к общей задаче искусственного интеллекта. Ведь если для продолжения фразы нужно перевести предложение, решить пример или вспомнить факт, модели так или иначе приходится справляться и с этой подзадачей.
Человеческий мозг, впрочем, заставляет относиться к этой мысли с осторожностью. Нейробиология говорит, что мышление не сводится к работе с языком: мозг подключает память, восприятие, социальный опыт и рассуждение. Да и животные решают сложные задачи, не владея человеческой речью, — так что умение обращаться со словами едва ли исчерпывает понятие интеллекта.
Есть и второй аргумент — эффективность. Человеку не требуется прочитать половину интернета и сжечь колоссальные вычислительные мощности, чтобы научиться говорить, понимать собеседника и пользоваться знаниями. Сегодня Джонс считает, что нынешних трансформеров с механизмом внимания для такой экономности мало, и следующий серьёзный прорыв, возможно, потребует принципиально иной архитектуры.
Поэтому внимание пока разумнее воспринимать не как готовую формулу разума, а как на редкость удачный способ работать с контекстом. Приём, придуманный ради улучшения машинного перевода, помог разжечь нынешний бум генеративного ИИ. А вот почему человеческий мозг решает похожие задачи куда экономнее и какие принципы вообще делают мышление возможным — исследователям ещё только предстоит выяснить.
Всё началось с вполне прозаической задачи — машинного перевода. Первые нейросети действовали в лоб: сжимали целое предложение в числовой код фиксированного размера, а потом разворачивали его в текст на другом языке. С короткими фразами они справлялись сносно, но чем длиннее становилось предложение, тем заметнее проседало качество — в тесное представление приходилось впихивать слишком много смысла.
В 2014 году Дмитрий Бахданау, Кёнхён Чо и Йошуа Бенжио предложили решение: механизм, позволяющий сети во время перевода вновь заглядывать в разные участки исходной фразы. Вместо того чтобы держать в памяти всё предложение разом, модель на каждом шаге прикидывала, какие слова важны именно сейчас. Этот приём авторы и назвали механизмом внимания.
Проще всего понять идею на двусмысленной фразе. В предложении «Животное не перешло улицу, потому что оно устало» слово «оно» отсылает к животному. Но стоит заменить «устало» на «оказалась слишком широкой» — и смысл уже указывает на улицу. При переводе на язык, где род местоимения зависит от существительного, машина обязана понять, к чему относится «оно». В английском, например, и улицу, и животное можно обозначить одним «it». Внимание даёт сети математический инструмент, чтобы отыскать нужную подсказку по всему предложению.
В 2017 году исследователи из Google пошли дальше и выстроили архитектуру, почти целиком стоящую на внимании. Так родился трансформер. Новый подход обрабатывал элементы текста параллельно и обучался быстрее прежних рекуррентных сетей. Сегодня именно трансформеры лежат в основе большинства крупных языковых моделей.
Внутри трансформера слова сперва переводятся в наборы чисел — векторы. Дальше модель сопоставляет их друг с другом и вычисляет, насколько сильно один кусок текста должен влиять на другой. Несколько так называемых голов внимания делают это параллельно: одна может улавливать грамматику, другая — смысл, третья — полезные связи между далеко разнесёнными частями фразы.
Никто не прописывает модели правило вида «животное способно устать, а улица — быть широкой». Все полезные закономерности сеть выстраивает сама в ходе обучения. После бесчисленных попыток угадать верное продолжение текста её параметры понемногу подстраиваются, и модель всё точнее определяет, какая информация из контекста пригодится прямо сейчас.
Любопытно, что тот же принцип выстрелил далеко за рамками перевода. Чтобы уверенно предсказывать следующий фрагмент текста, большой языковой модели волей-неволей приходится осваивать массу задач, встречающихся в обучающих данных: переводить, отвечать на вопросы, восстанавливать факты, разбираться в коде, что-то считать. Из, казалось бы, элементарной задачи выросли системы, которые ведут диалог и решают то, чему их намеренно не учили.
Один из создателей трансформера, Ллион Джонс, допускает куда более смелое толкование. Согласно его гипотезе об интеллекте, качественное предсказание следующего слова требует настолько широкого спектра умений, что само по себе языковое моделирование может оказаться близким к общей задаче искусственного интеллекта. Ведь если для продолжения фразы нужно перевести предложение, решить пример или вспомнить факт, модели так или иначе приходится справляться и с этой подзадачей.
Человеческий мозг, впрочем, заставляет относиться к этой мысли с осторожностью. Нейробиология говорит, что мышление не сводится к работе с языком: мозг подключает память, восприятие, социальный опыт и рассуждение. Да и животные решают сложные задачи, не владея человеческой речью, — так что умение обращаться со словами едва ли исчерпывает понятие интеллекта.
Есть и второй аргумент — эффективность. Человеку не требуется прочитать половину интернета и сжечь колоссальные вычислительные мощности, чтобы научиться говорить, понимать собеседника и пользоваться знаниями. Сегодня Джонс считает, что нынешних трансформеров с механизмом внимания для такой экономности мало, и следующий серьёзный прорыв, возможно, потребует принципиально иной архитектуры.
Поэтому внимание пока разумнее воспринимать не как готовую формулу разума, а как на редкость удачный способ работать с контекстом. Приём, придуманный ради улучшения машинного перевода, помог разжечь нынешний бум генеративного ИИ. А вот почему человеческий мозг решает похожие задачи куда экономнее и какие принципы вообще делают мышление возможным — исследователям ещё только предстоит выяснить.
