«Яндекс» с нуля разработал языковую модель на 80 млрд параметров и открыл её веса

«Яндекс» разработал с нуля языковую модель Alice AI Foundation LLM и открыл её веса для самостоятельного запуска и дообучения. Компания позиционирует разработку как полностью суверенную и планирует использовать её в качестве основы для будущей модели с возможностями рассуждения и ИИ-агентов «Алисы».

Как сообщают «Ведомости», Alice AI Foundation насчитывает 80 млрд параметров и обучена на 18 трлн токенов. Модель построена по архитектуре Mixture of Experts, поэтому при обработке одного токена активируются около 3 млрд параметров, а не вся модель целиком. Это позволяет снизить вычислительные затраты при работе с системой, сохраняя её общую ёмкость.

Контекстное окно модели составляет 262 144 токена. При этом Alice AI Foundation является базовой моделью после предварительного обучения, а не готовым чат-ботом. Для создания разговорного ассистента или специализированного корпоративного решения разработчикам потребуется дополнительно дообучить модель.

Веса опубликованы на Hugging Face под лицензией Apache 2.0. Модель можно развернуть на собственной инфраструктуре, адаптировать под конкретные задачи и использовать в исследовательских и коммерческих проектах.

«Яндекс» самостоятельно подготовил обучающий корпус, разработал архитектуру и выбрал гиперпараметры модели, не используя готовые иностранные модели в процессе создания.

При этом определение Alice AI Foundation как «суверенной» пока остаётся заявленной характеристикой самой компании. Официальный порядок присвоения такого статуса в России должен вступить в силу только в марте 2027 года.