29 октября 2026 г.
Рейтинг Artificial Analysis больше не перепроверить снаружи: 60% веса на закрытых тестах
Artificial Analysis 27.10 отдала 60% веса индекса приватным тестам. Разрыв между лучшей закрытой моделью и открытыми вырос с 3 пунктов до 12.
Kimi K3.1 Pro держала 55 пунктов. После смены методики у неё 46, а у DeepSeek V4.1 Flash 32 вместо 45.
27.10 Artificial Analysis выпустила Intelligence Index v5. Впервые большинство веса индекса, 60%, держат приватные наборы и скрытые ответы. В v4.3 такого веса было 45%.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Внутри v5 девять бенчмарков в четырёх категориях по 25%: Knowledge Work, Coding, Science, General. Новых бенчмарков два. FrontierCode 2.0 собрал приватные кодинг-задачи от Cognition, вес 15%. Terminal-Bench-Science дал 70 агентных научных задач в терминале, ещё 15%. Вместо Humanity's Last Exam в индекс встал HLE-Diamond, а CritPt подтянули до v2 с приватным набором из 40 сложных вопросов.
Разрыв вырос вчетверо. В v4.3 лучшая открытая модель отставала от лучшей закрытой на 3 пункта. В v5 отставание 12. Сверху стоит Claude Opus 5.5 — 58 пунктов на максимальном режиме, дальше GPT-6 Astra с 57, GPT-6.1 Sol с 55 и Gemini 4 Argon с 50.
Kimi K3.1 Pro с её 46 лучшая среди открытых, но веса модель пока не выложила. Из выложенных впереди DeepSeek V4.1 Flash 1017 и GLM-5.3 с 32 пунктами: на 26 ниже лидера и ниже Claude Haiku 5.5, у которой 36.
Проседают открытые модели в двух местах. На HLE-Diamond у Kimi K3.1 Pro 37% против 68% у Opus 5.5, на Terminal-Bench-Science 34% против 63% у GPT-6 Astra. Зато на агентном Terminal-Bench 4.0 Kimi берёт 67% и обгоняет все закрытые модели, только вес этого бенча в индексе 10%.
Что можно проверить самому. Харнес Stirrup, через который идут прогоны, остаётся с открытым кодом: temperature 0 для нерезонящих моделей и 0.6 для резонящих, лимит 100–250 ходов на задачу, оценка по рубрикам панелью из трёх судей. Версия 4.3.2 лежит опубликованной как исторический срез, так что места до перехода и после сверяются руками.
Претензия к v5 сводится к одному: 60% тестовых данных закрыты, и чужой прогон по ним снаружи не повторить.
Kimi K3.1 Pro веса ещё не выложила: когда выложит, у открытых моделей появится своя верхняя точка в v5.
Первоисточник