Семь нейросетей устроили слепое соревнование, в котором им предложили решить восемь совершенно разных задач. В тесте участвовали Fable 5.1, GPT-5.6 Sol, Kimi K3, Qwen 3.8 Max, Gemini 3.8 Flash, Grok 4.6 и DeepSeek V4 Pro.
Моделям пришлось создавать персональный сайт-презентацию, инфографику и 3D-робота, разрабатывать мини-игру и рекламный кадр, сочинять гимн, решать логическую загадку и участвовать в турнире муравьиных алгоритмов. Работы оценивали анонимные судьи, которые ориентировались на скриншоты, консольные логи и сетевые запросы. За каждое испытание можно было получить до 30 баллов.
По сумме результатов первое место досталось Fable 5.1 — модель набрала 145 баллов. Kimi K3 заняла вторую позицию с 133 баллами, а GPT-5.6 Sol оказалась третьей, набрав 118. При этом в отдельных заданиях лидеры менялись: Kimi K3 лучше остальных справилась с инфографикой и созданием 3D-робота, а Fable 5.1 оказалась сильнее в разработке страницы-презентации.
Интересные результаты показала и логическая задача о четырёх выживших после крушения. Полностью разгадать её смогла только Gemini 3.8 Flash, сделав 19 запросов. Qwen остановилась на восьмом вопросе после расхода примерно 165 тыс. токенов, а DeepSeek не смогла завершить испытание. GPT-5.6 Sol при этом прошла все 20 вопросов, использовав всего 3 160 токенов.
В турнире муравьиных алгоритмов, где результаты определялись автоматически и без участия судей, лучший показатель также оказался у Fable 5.1 — 77,5 балла из 100. Gemini 3.8 заняла второе место с 58,5 балла.
По расходу токенов наиболее экономичной стала GPT-модель. На все задания она потратила около 35 тыс. токенов, что соответствует примерно $0,35 и 299 токенам на каждый набранный балл. Gemini 3.8 Flash израсходовала 103 тыс. токенов — около $0,39, или 915 токенов на балл. Fable 5.1 потребовалось около 110 тыс. токенов стоимостью примерно $5,54, а Kimi K3 — 472 тыс. токенов, или около $7,09.
Все подробности тестирования, исходный код, записи игр и комментарии судей доступны на сайте проекта: https://ikorg.ru/rating/
Моделям пришлось создавать персональный сайт-презентацию, инфографику и 3D-робота, разрабатывать мини-игру и рекламный кадр, сочинять гимн, решать логическую загадку и участвовать в турнире муравьиных алгоритмов. Работы оценивали анонимные судьи, которые ориентировались на скриншоты, консольные логи и сетевые запросы. За каждое испытание можно было получить до 30 баллов.
По сумме результатов первое место досталось Fable 5.1 — модель набрала 145 баллов. Kimi K3 заняла вторую позицию с 133 баллами, а GPT-5.6 Sol оказалась третьей, набрав 118. При этом в отдельных заданиях лидеры менялись: Kimi K3 лучше остальных справилась с инфографикой и созданием 3D-робота, а Fable 5.1 оказалась сильнее в разработке страницы-презентации.
Интересные результаты показала и логическая задача о четырёх выживших после крушения. Полностью разгадать её смогла только Gemini 3.8 Flash, сделав 19 запросов. Qwen остановилась на восьмом вопросе после расхода примерно 165 тыс. токенов, а DeepSeek не смогла завершить испытание. GPT-5.6 Sol при этом прошла все 20 вопросов, использовав всего 3 160 токенов.
В турнире муравьиных алгоритмов, где результаты определялись автоматически и без участия судей, лучший показатель также оказался у Fable 5.1 — 77,5 балла из 100. Gemini 3.8 заняла второе место с 58,5 балла.
По расходу токенов наиболее экономичной стала GPT-модель. На все задания она потратила около 35 тыс. токенов, что соответствует примерно $0,35 и 299 токенам на каждый набранный балл. Gemini 3.8 Flash израсходовала 103 тыс. токенов — около $0,39, или 915 токенов на балл. Fable 5.1 потребовалось около 110 тыс. токенов стоимостью примерно $5,54, а Kimi K3 — 472 тыс. токенов, или около $7,09.
Все подробности тестирования, исходный код, записи игр и комментарии судей доступны на сайте проекта: https://ikorg.ru/rating/
