В своем информационном бюллетене «Import AI» Кларк опровергает утверждения о том, что ИИ достиг своих пределов. «Все, кто говорил вам, что прогресс замедляется или что масштабирование упирается в стену, ошибаются», — пишет он.
Кларк приводит модель o3 от OpenAI в качестве примера того, что в области ИИ есть значительный потенциал для дальнейшего развития, но при этом требуется новый подход. Вместо простого увеличения размеров моделей o3 использует обучение с подкреплением и дополнительные вычислительные ресурсы в процессе работы.
Он отмечает, что способность «думать вслух» во время выполнения открывает новые возможности для масштабирования. Кларк предсказывает, что эта тенденция ускорится в 2025 году, когда компании начнут сочетать традиционные методы, такие как увеличение размеров базовых моделей, с инновационными способами использования вычислительных мощностей как во время обучения, так и на этапе вывода. Это также совпадает с заявлением OpenAI при представлении их серии o-моделей.
Однако, Кларк выделяет вычислительные затраты как основную проблему. Самая мощная версия o3 требует в 170 раз больше вычислительных ресурсов, чем её базовая версия, которая уже использует больше ресурсов, чем o1, а сама o1 требует больше ресурсов, чем GPT-4o.
Кларк объясняет, что эти новые системы значительно усложняют прогнозирование затрат. Раньше расходы были более предсказуемыми, так как зависели в основном от размера модели и длины вывода. Но с o3 потребности в вычислительных мощностях могут значительно варьироваться в зависимости от конкретных задач.
Несмотря на эти сложности, Кларк уверен, что сочетание традиционных методов масштабирования и новых подходов приведёт к «ещё более драматичным» успехам в области ИИ в 2025 году, чем те, что были достигнуты ранее.
Предсказания Кларка поднимают интересные вопросы о планах Anthropic. Компания еще не представила модели рассуждений или время тестирования, чтобы составить конкуренцию серии o от OpenAI или Gemini Flash Thinking от Google.
Ранее анонсированная флагманская модель Opus 3.5 была приостановлена — вероятно, из-за того, что улучшения в производительности не оправдали затрат на её эксплуатацию.
Хотя некоторые считают, что задержки с её запуском могут указывать на более серьёзные проблемы с масштабированием крупных языковых моделей, Opus 3.5 нельзя назвать полным провалом. Эта модель, вероятно, послужила основой для обучения новой модели Sonnet 3.5, которая стала самой популярной языковой моделью на рынке.
Кларк приводит модель o3 от OpenAI в качестве примера того, что в области ИИ есть значительный потенциал для дальнейшего развития, но при этом требуется новый подход. Вместо простого увеличения размеров моделей o3 использует обучение с подкреплением и дополнительные вычислительные ресурсы в процессе работы.
Он отмечает, что способность «думать вслух» во время выполнения открывает новые возможности для масштабирования. Кларк предсказывает, что эта тенденция ускорится в 2025 году, когда компании начнут сочетать традиционные методы, такие как увеличение размеров базовых моделей, с инновационными способами использования вычислительных мощностей как во время обучения, так и на этапе вывода. Это также совпадает с заявлением OpenAI при представлении их серии o-моделей.
Однако, Кларк выделяет вычислительные затраты как основную проблему. Самая мощная версия o3 требует в 170 раз больше вычислительных ресурсов, чем её базовая версия, которая уже использует больше ресурсов, чем o1, а сама o1 требует больше ресурсов, чем GPT-4o.
Кларк объясняет, что эти новые системы значительно усложняют прогнозирование затрат. Раньше расходы были более предсказуемыми, так как зависели в основном от размера модели и длины вывода. Но с o3 потребности в вычислительных мощностях могут значительно варьироваться в зависимости от конкретных задач.
Несмотря на эти сложности, Кларк уверен, что сочетание традиционных методов масштабирования и новых подходов приведёт к «ещё более драматичным» успехам в области ИИ в 2025 году, чем те, что были достигнуты ранее.
Предсказания Кларка поднимают интересные вопросы о планах Anthropic. Компания еще не представила модели рассуждений или время тестирования, чтобы составить конкуренцию серии o от OpenAI или Gemini Flash Thinking от Google.
Ранее анонсированная флагманская модель Opus 3.5 была приостановлена — вероятно, из-за того, что улучшения в производительности не оправдали затрат на её эксплуатацию.
Хотя некоторые считают, что задержки с её запуском могут указывать на более серьёзные проблемы с масштабированием крупных языковых моделей, Opus 3.5 нельзя назвать полным провалом. Эта модель, вероятно, послужила основой для обучения новой модели Sonnet 3.5, которая стала самой популярной языковой моделью на рынке.
