13 октября 2026 г.
Классификацию можно снять с языковой модели: Jev 1.13 дешевле Claude Haiku 5.5 в 4,4 раза
Jev 1.13 закрывает задачу за 0,13 секунды, Claude Haiku 5.5 тратит 1,4: Artificial Analysis собрала первый индекс таких моделей.
Artificial Analysis
@artificialanlys
Представляем Artificial Analysis Decision Index: мы замеряем decision-модели на классификации, вызове инструментов, знаниях и рассуждении. Среди decision-моделей лидирует Jev; языковые модели вроде Claude Haiku 5.5 всё ещё точнее, но стоят намного дороже и отвечают медленнее. Decision-модели выдают структурированные ответы или классификации с вероятностями: отвечают быстрее и стоят дешевле, чем языковые модели. Artificial Analysis Decision Index v1.0 сравнивает возможности, цену и скорость decision-моделей, а также сравнивает их с языковыми моделями. Бенчмарки в Artificial Analysis Decision Index v1.0: ➤ AA-Omniscience-Decision: закрытый набор из 500 вопросов, адаптированных из нашего проприетарного бенчмарка AA-Omniscience. Измеряет знания decision-моделей и склонность галлюцинировать ➤ HLE-MultiChoice: 513 текстовых вопросов с выбором ответа из Humanity's Last Exam, проверяют способность decision-моделей рассуждать ➤ When2Call: бенчмарк вызова инструментов от NVIDIA. Проверяет, правильно ли модель решает вызвать инструмент, попросить уточнение, отказаться от ответа или ответить сразу. Это те способности, которые нужны в агентных сценариях и роутинге инструментов ➤ WildGuardTest: бенчмарк безопасности, оценивает классификацию по вредным запросам пользователей, отказам ассистента и вредным ответам. Мы берём подмножество из 835 строк от исходных 1725, те, где все три человека-аннотатора сошлись по всем трём меткам, и исключаем вопросы, на которые модели стабильно отказываются отвечать Главные результаты: ➤ Jev 1.13 лидирует в Decision Index и стоит на границе Парето «возможности против цены»: Jev 1.13 от @typesafeai набирает 58 в Artificial Analysis Decision Index, опережая GLiDE (54) от @fastinoAI и Microsoft-Decision-1 (54) от @Microsoft. У Decider v1.1 27B от @perplexity_ai самая низкая цена за 1 млн задач, $17; на границе Парето также Microsoft-Decision-1 ($31) и Jev 1.13 ($42). У Celeris-1 Decision самое короткое время на задачу, 0,06 секунды: это больше чем в 2 раза быстрее Jev 1.13 (0,13 секунды на задачу) ➤ Decision-модели плохо калиброваны на задачах на знания и рассуждение: почти на всех уровнях вероятности выбранного ответа точность у всех decision-моделей оказывается ниже этой вероятности. Разрыв больше всего на AA-Omniscience-Decision и HLE-MultiChoice, тогда как на WildGuardTest (классификация) и When2Call (вызов инструментов) большинство моделей калиброваны неплохо ➤ Decision-модели заметно выигрывают у языковых моделей по скорости и цене, но отстают на знаниях и рассуждении: на классификации и вызове инструментов лучшие decision-модели работают на уровне языковых и при этом намного быстрее и дешевле. Но на знаниях и рассуждении языковые модели сильно впереди. Claude Haiku 5.5 (Low) набирает 61 в Decision Index, на 3 пункта выше Jev 1.13, но тратит 1,4 секунды на задачу против 0,13 (в 11 раз медленнее) и стоит $184 за 1 млн задач против $42 у Jev 1.13 (в 4,4 раза дороже) Мы продолжим развивать Artificial Analysis Decision Index, чтобы разработчикам и компаниям было понятнее, когда и как использовать decision-модели.
· 46,2 тыс. просмотров
Миллион классификаций у Jev 1.13 стоит $42, у Claude Haiku 5.5 — $184.
13 октября Artificial Analysis выпустила Decision Index v1.0, первый общий замер моделей, которые вместо текста отдают метку с вероятностью (их называют decision models). В конвейере агента таких вызовов много: позвать инструмент или попросить уточнение, вредный запрос или обычный, в какую ветку отправить.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Что замерили. Индекс сложён из четырёх бенчмарков: знания и галлюцинации на 500 закрытых вопросах AA-Omniscience-Decision, рассуждение на 513 вопросах с выбором ответа из Humanity's Last Exam, выбор инструмента на When2Call от NVIDIA и классификация вредных запросов на WildGuardTest. В WildGuardTest Artificial Analysis оставила 835 строк из 1725, те, где все три разметчика сошлись по всем трём меткам.
Индекс возглавила Jev 1.13 от typesafeai, 58 баллов. Следом идут GLiDE от Fastino и Microsoft-Decision-1, у обеих 54. Дешевле всех в замере вышла Decider v1.1 27B от Perplexity, $17 за миллион задач. Быстрее всех отвечает Celeris-1 Decision, 0,06 секунды на задачу — вдвое меньше, чем у Jev 1.13.
Языковые точнее, но дороже. Claude Haiku 5.5 в режиме Low набирает 61, на 3 пункта выше Jev 1.13. На задачу она тратит 1,4 секунды против 0,13 и просит $184 за миллион задач против $42. На классификации и выборе инструмента лучшие decision models идут с языковыми на равных, а на знаниях и рассуждении отстают.
Раньше любое такое решение в конвейере отдавали языковой модели и платили за токены и секунды. Теперь у класса есть своя линейка с замером, и видно, где дешёвая модель закрывает задачу, а где соврёт.
Вероятность завышена. Почти на всех уровнях уверенности точность оказалась ниже заявленной: модель ставит рядом с ответом 0,9, а права реже. Сильнее всего разрыв на знаниях и рассуждении. На классификации и выборе инструмента числа честные.
Artificial Analysis обещает развивать индекс, и следующие версии покажут, сократят ли эти модели отставание на знаниях.
Первоисточник