Специалист по рассуждающим моделям Шэнь Чжоран сообщил, что команда стремится натренировать систему играть в видеоигры по-человечески. Первые испытания намечены на League of Legends и StarCraft 2, однако цель проекта гораздо шире — улучшить способности модели взаимодействовать с любыми программами.
Ранее крупные игровые ИИ, такие как OpenAI Five и AlphaStar от Google DeepMind, получали доступ к игровым данным через специально подготовленные API. Агентам предоставляли идеально структурированную информацию о состоянии игры — положение юнитов, их здоровье, экономическую ситуацию, зоны видимости. Команды тоже задавались в упрощенном виде — без реального риска ошибиться с нажатием кнопки или опоздать к следующему игровому тику. В некоторых версиях модели даже обладали полной информацией о происходящем, которой у реального игрока не бывает.
Новый подход предполагает, что Grok 5 будет играть в тех же условиях, что и человек. Модель должна видеть игру через видеострим, распознавать элементы интерфейса, учитывать события, уже исчезнувшие с экрана, и управлять персонажем с помощью обычных устройств ввода: мыши, клавиатуры и хоткеев.
Такой формат накладывает сразу несколько строгих требований. Во-первых, высокая скорость реакции. В StarCraft 2 профессиональные игроки выполняют более 1000 действий в минуту, а на принятие решения в критический момент уходит около 150 мс. Модель должна успевать обработать видеокадр, понять, что происходит, сформировать ответ и отправить команду — и так десятки раз в секунду. Во-вторых, зрительное восприятие. ИИ придется в режиме реального времени разбирать пиксельный интерфейс: панели, индикаторы здоровья, мини-карту, иконки умений, таймеры, всплывающие окна, а также помнить то, что вышло за пределы кадра. В-третьих, сложное планирование: нужно одновременно реагировать на внезапные угрозы и держать в голове долгосрочную стратегию — состав команд, тайминги объектов, экономику и будущие стычки.
В xAI уверены, что успех в играх даст универсальный результат. Если модель научится разбираться в сложных интерфейсах и управлять ими с человеческой или сверхчеловеческой скоростью, она сможет работать практически в любых программах — от старых бухгалтерских приложений до банковских систем и корпоративных CRM. Тогда не потребуется разрабатывать отдельные API под каждый продукт — достаточно предоставить ИИ доступ к экрану и виртуальным устройствам ввода.
Ранее крупные игровые ИИ, такие как OpenAI Five и AlphaStar от Google DeepMind, получали доступ к игровым данным через специально подготовленные API. Агентам предоставляли идеально структурированную информацию о состоянии игры — положение юнитов, их здоровье, экономическую ситуацию, зоны видимости. Команды тоже задавались в упрощенном виде — без реального риска ошибиться с нажатием кнопки или опоздать к следующему игровому тику. В некоторых версиях модели даже обладали полной информацией о происходящем, которой у реального игрока не бывает.
Новый подход предполагает, что Grok 5 будет играть в тех же условиях, что и человек. Модель должна видеть игру через видеострим, распознавать элементы интерфейса, учитывать события, уже исчезнувшие с экрана, и управлять персонажем с помощью обычных устройств ввода: мыши, клавиатуры и хоткеев.
Такой формат накладывает сразу несколько строгих требований. Во-первых, высокая скорость реакции. В StarCraft 2 профессиональные игроки выполняют более 1000 действий в минуту, а на принятие решения в критический момент уходит около 150 мс. Модель должна успевать обработать видеокадр, понять, что происходит, сформировать ответ и отправить команду — и так десятки раз в секунду. Во-вторых, зрительное восприятие. ИИ придется в режиме реального времени разбирать пиксельный интерфейс: панели, индикаторы здоровья, мини-карту, иконки умений, таймеры, всплывающие окна, а также помнить то, что вышло за пределы кадра. В-третьих, сложное планирование: нужно одновременно реагировать на внезапные угрозы и держать в голове долгосрочную стратегию — состав команд, тайминги объектов, экономику и будущие стычки.
В xAI уверены, что успех в играх даст универсальный результат. Если модель научится разбираться в сложных интерфейсах и управлять ими с человеческой или сверхчеловеческой скоростью, она сможет работать практически в любых программах — от старых бухгалтерских приложений до банковских систем и корпоративных CRM. Тогда не потребуется разрабатывать отдельные API под каждый продукт — достаточно предоставить ИИ доступ к экрану и виртуальным устройствам ввода.
