Компания Meta* анонсировала новую коллекцию ИИ-моделей Llama 4 в рамках своего семейства Llama, выпустив её в субботу. Включает четыре модели: Llama 4 Scout, Llama 4 Maverick и Llama 4 Behemoth. Все эти модели были обучены на огромных объемах немаркированных текстовых, графических и видеоданных, чтобы обеспечить их "широким визуальным восприятием", сообщает Meta*.
Разработка Llama 4 была ускорена успешными открытыми моделями китайской лаборатории искусственного интеллекта DeepSeek, которые демонстрируют результаты на уровне или превосходящие предыдущие флагманские модели Meta. Согласно слухам, Meta провела тщательные исследования, чтобы понять, как DeepSeek смогла снизить затраты на запуск и развертывание таких моделей, как R1 и V3.
Модели Scout и Maverick уже доступны в открытом доступе на Llama.com и через партнеров Meta, включая платформу разработки ИИ Hugging Face, в то время как Behemoth все ещё находится в процессе обучения. Meta также обновила Meta AI, своего помощника на базе ИИ для приложений, таких как WhatsApp, Messenger и Instagram, для использования Llama 4 в 40 странах. Однако мультимодальные функции пока доступны только в США и только на английском языке.
Некоторые разработчики могут столкнуться с проблемами из-за лицензирования Llama 4. Пользователи и компании, находящиеся в ЕС или имеющие основное место ведения бизнеса в этом регионе, не смогут использовать или распространять модели, вероятно, из-за требований, связанных с местными законами о ИИ и конфиденциальности данных. (Ранее Meta критиковала эти законы как чрезмерно обременительные.) Кроме того, как и в случае с предыдущими версиями Llama, компании с более чем 700 миллионами активных пользователей в месяц обязаны запрашивать специальную лицензию у Meta, которую компания может предоставить или отклонить по своему усмотрению.
Meta утверждает, что Llama 4 — первая серия моделей, использующая архитектуру смешанных экспертов (MoE), которая позволяет значительно повысить вычислительную эффективность как при обучении, так и при обработке запросов. Архитектуры MoE разделяют задачи на подзадачи, а затем передают их специализированным «экспертным» моделям.
Например, у модели Maverick 400 миллиардов параметров, но активных — только 17 миллиардов, распределённых между 128 «экспертами». (Параметры можно считать как навыки модели для решения различных задач.) У модели Scout 17 миллиардов активных параметров, 16 экспертов и 109 миллиардов общих параметров.
По результатам внутренних тестов Meta, модель Maverick, которая, по словам компании, идеально подходит для задач общего помощника и чатов, таких как креативное письмо, превосходит такие модели, как OpenAI GPT-4o и Google Gemini 2.0 по нескольким показателям, включая кодирование, рассуждения, многоязычность, работу с длинными контекстами и изображениями. Однако Maverick уступает более новым моделям, таким как Google Gemini 2.5 Pro, Anthropic Claude 3.7 Sonnet и OpenAI GPT-4.5.
Модель Scout показывает хорошие результаты в таких задачах, как резюмирование документов и анализ больших кодовых баз. У неё есть уникальная особенность — очень большое контекстное окно в 10 миллионов токенов. Токены — это фрагменты текста, например слово «fantastic» разделяется на «fan», «tas» и «tic». Это позволяет Scout воспринимать до миллионов слов, что делает её подходящей для работы с длинными документами и изображениями.
По расчётам Meta, Scout может работать на одном графическом процессоре Nvidia H100, в то время как Maverick требует системы Nvidia H100 DGX или эквивалентной.
Что касается ещё не выпущенной модели Behemoth, то для её работы потребуется гораздо более мощное оборудование. По данным Meta, Behemoth имеет 288 миллиардов активных параметров, 16 экспертов и почти два триллиона общих параметров. Внутренние тесты показали, что Behemoth превосходит GPT-4.5, Claude 3.7 Sonnet и Gemini 2.0 Pro (но не 2.5 Pro) по многим критериям, включая решение математических задач.
Важно отметить, что ни одна из моделей Llama 4 не является полноценно «рассуждающей» моделью, как например, модели o1 и o3-mini от OpenAI. Модели рассуждения могут проверять факты и предоставлять более надёжные ответы, но они обычно требуют больше времени на обработку запросов по сравнению с моделями «без рассуждения».
*Meta и ее продукты (Facebook, Instagram) запрещены на территории Российской Федерации
Разработка Llama 4 была ускорена успешными открытыми моделями китайской лаборатории искусственного интеллекта DeepSeek, которые демонстрируют результаты на уровне или превосходящие предыдущие флагманские модели Meta. Согласно слухам, Meta провела тщательные исследования, чтобы понять, как DeepSeek смогла снизить затраты на запуск и развертывание таких моделей, как R1 и V3.
Модели Scout и Maverick уже доступны в открытом доступе на Llama.com и через партнеров Meta, включая платформу разработки ИИ Hugging Face, в то время как Behemoth все ещё находится в процессе обучения. Meta также обновила Meta AI, своего помощника на базе ИИ для приложений, таких как WhatsApp, Messenger и Instagram, для использования Llama 4 в 40 странах. Однако мультимодальные функции пока доступны только в США и только на английском языке.
Некоторые разработчики могут столкнуться с проблемами из-за лицензирования Llama 4. Пользователи и компании, находящиеся в ЕС или имеющие основное место ведения бизнеса в этом регионе, не смогут использовать или распространять модели, вероятно, из-за требований, связанных с местными законами о ИИ и конфиденциальности данных. (Ранее Meta критиковала эти законы как чрезмерно обременительные.) Кроме того, как и в случае с предыдущими версиями Llama, компании с более чем 700 миллионами активных пользователей в месяц обязаны запрашивать специальную лицензию у Meta, которую компания может предоставить или отклонить по своему усмотрению.
Meta утверждает, что Llama 4 — первая серия моделей, использующая архитектуру смешанных экспертов (MoE), которая позволяет значительно повысить вычислительную эффективность как при обучении, так и при обработке запросов. Архитектуры MoE разделяют задачи на подзадачи, а затем передают их специализированным «экспертным» моделям.
Например, у модели Maverick 400 миллиардов параметров, но активных — только 17 миллиардов, распределённых между 128 «экспертами». (Параметры можно считать как навыки модели для решения различных задач.) У модели Scout 17 миллиардов активных параметров, 16 экспертов и 109 миллиардов общих параметров.
По результатам внутренних тестов Meta, модель Maverick, которая, по словам компании, идеально подходит для задач общего помощника и чатов, таких как креативное письмо, превосходит такие модели, как OpenAI GPT-4o и Google Gemini 2.0 по нескольким показателям, включая кодирование, рассуждения, многоязычность, работу с длинными контекстами и изображениями. Однако Maverick уступает более новым моделям, таким как Google Gemini 2.5 Pro, Anthropic Claude 3.7 Sonnet и OpenAI GPT-4.5.
Модель Scout показывает хорошие результаты в таких задачах, как резюмирование документов и анализ больших кодовых баз. У неё есть уникальная особенность — очень большое контекстное окно в 10 миллионов токенов. Токены — это фрагменты текста, например слово «fantastic» разделяется на «fan», «tas» и «tic». Это позволяет Scout воспринимать до миллионов слов, что делает её подходящей для работы с длинными документами и изображениями.
По расчётам Meta, Scout может работать на одном графическом процессоре Nvidia H100, в то время как Maverick требует системы Nvidia H100 DGX или эквивалентной.
Что касается ещё не выпущенной модели Behemoth, то для её работы потребуется гораздо более мощное оборудование. По данным Meta, Behemoth имеет 288 миллиардов активных параметров, 16 экспертов и почти два триллиона общих параметров. Внутренние тесты показали, что Behemoth превосходит GPT-4.5, Claude 3.7 Sonnet и Gemini 2.0 Pro (но не 2.5 Pro) по многим критериям, включая решение математических задач.
Важно отметить, что ни одна из моделей Llama 4 не является полноценно «рассуждающей» моделью, как например, модели o1 и o3-mini от OpenAI. Модели рассуждения могут проверять факты и предоставлять более надёжные ответы, но они обычно требуют больше времени на обработку запросов по сравнению с моделями «без рассуждения».
*Meta и ее продукты (Facebook, Instagram) запрещены на территории Российской Федерации
