Matrix-Game 2.0: нейросеть, создающая интерактивные 3D-миры по тексту

Компания Skywork представила Matrix-Game 2.0 — новую открытую модель, способную генерировать полноценные 3D-сцены на основе текстового описания. Пользователь вводит запрос, а нейросеть создаёт игровую сцену, в которой можно свободно перемещаться и взаимодействовать с окружением.

В основе Matrix-Game 2.0 лежит архитектура SkyReels-V2. Модель работает с частотой 25 кадров в секунду и в режиме реального времени дорисовывает мир в зависимости от действий игрока — например, добавляет детали при перемещении по сцене. Визуально всё напоминает стандартную компьютерную игру.

Для обучения использовалось 1350 видеороликов с игровым процессом. В генераторе доступны различные стили: GTA, Minecraft, Temple Run, а также «город», «дикое поле» и другие. Размер модели составляет 1,8 миллиарда параметров, а для локального запуска потребуется видеокарта с минимум 24 ГБ видеопамяти. Модель тестировалась на Nvidia A100 и H100.

Разработчики подчеркивают: Matrix-Game 2.0 — это шаг от текстового видеогенератора к созданию настоящих интерактивных миров. В будущем модель можно будет использовать для разработки ИИ-агентов, тренировки нейросетей в симулированной среде, а также для генерации целых игр.