Apple научила ИИ «думать в несколько голов» — и выбирать лучший ответ

Команда исследователей Apple вместе с учёными из Калифорнийского университета в Сан-Диего представила фреймворк LaDiR — технологию, которая улучшает качество ответов больших языковых моделей (LLM). Главная идея проста: вместо того чтобы выдавать первый пришедший в голову вариант, нейросеть параллельно прорабатывает сразу несколько линий рассуждений и только потом выбирает лучшую.

Полное название фреймворка — Latent Diffusion Enhances LLMs for Text Reasoning. В нём объединены два подхода к генерации текста: диффузионный и авторегрессионный. На этапе «размышления» модель использует диффузию, обрабатывая множество токенов одновременно, а итоговый ответ формирует уже авторегрессионно — слово за словом. Как отмечает 9to5Mac, LaDiR — не отдельная нейросеть, а своего рода «прошивка» поверх существующих LLM, перестраивающая логику их мышления.

В основе механизма — генерация скрытых блоков рассуждений. Изначально они выглядят как случайный шум и постепенно «очищаются», превращаясь в логически связанную цепочку шагов. LaDiR одновременно запускает несколько таких диффузионных процессов, а отдельный механизм следит за тем, чтобы параллельные ветви не схлопнулись в одно и то же решение раньше времени, и подталкивает их исследовать разные направления. Когда модель «считает», что обдумывание завершено, она переключается на последовательную генерацию финального ответа.

Эффективность фреймворка проверяли на нескольких моделях: Meta LLaMA 3.1 8B использовали для математики и головоломок, а Qwen3-8B-Base — для генерации кода. В математических тестах LaDiR обошёл существующие подходы по точности и уверенно справлялся даже с нестандартными задачами. В бенчмарке HumanEval он выдавал более надёжный код, заметно опережая стандартную тонкую настройку — особенно на сложных кейсах.

В задачах планирования — например, в игре Countdown — фреймворк исследовал более широкий спектр верных решений, чем любая базовая модель, и находил правильные ответы надёжнее всех универсальных ИИ-систем. Правда, в сценариях, где результат нужен с первой попытки и без права на ошибку, LaDiR всё же уступил узкоспециализированным моделям, заточенным под конкретные задачи.

Несмотря на техническую сложность отдельных решений, авторы исследования уверены: предложенный подход открывает новые горизонты для повышения качества генерации текста и логических способностей языковых моделей.