12 октября 2026 г.
FrontierCode 1.1: лучшая модель набирает 52% на тесте, который проверяет, примет ли мейнтейнер правку
Claude Opus 5.5 (max with fallback) лидирует с 52%. В 58% попыток он проходит все блокирующие проверки, а провал одного из них обнуляет попытку. Девять из 100 задач не решила ни одна модель.
Artificial Analysis
@artificialanlys
Запускаем лидерборд FrontierCode 1.1: закрытую оценку от Cognition. Она проверяет, умеют ли модели решать задачи по коду так, чтобы мейнтейнеры реальных open source-репозиториев приняли правку. @cognition анонсировал FrontierCode в июне 2026 года, в июле вышла версия 1.1. Датасет Cognition собрал вместе с мейнтейнерами open source-проектов: на каждую задачу у них ушло больше 40 часов. Агент должен внести изменение в настоящий open source-репозиторий. Потом проверяются и unit-тесты, и качественные критерии: что мейнтейнер потребовал бы, прежде чем принять изменение. Мы прогоняем FrontierCode 1.1 Main, основной набор из 100 задач из 150, через наш открытый референсный харнесс Stirrup. Так модели сравниваются на равных. Все задачи закрыты, чтобы их не могли увидеть при обучении моделей. Каждую попытку оценивают блокирующими и неблокирующими критериями. Провал хотя бы одного блокирующего критерия даёт ноль. Если пройдены все, попытка получает от 70% до 100%. Отличие от других оценок кода в более широком взгляде на успех, основанном на реальном использовании. Модели должны проходить unit-тесты, но их оценивают и по поведению: чрезмерные изменения и большие диффы, правки файлов вне нужной области, бесполезные тесты. Мы считаем это важным сейчас: модели уже очень хорошо пишут код, но их правки часто требуют серьёзной доработки, прежде чем мейнтейнер их примет. ➤ Ведущие модели всё ещё проваливают больше 40% попыток: Claude Opus 5.5 (max with fallback) лидирует с 52%, а блокирующие проверки проходит в 58% своих попыток. Девять из 100 задач не решила ни одна из моделей, которые мы оценили к запуску. ➤ Верх таблицы плотный: девять моделей из шести лабораторий набирают от 43% до 52%. Лидер среди открытых весов MiMo-V2.6-Pro с 45%, за ним DeepSeek V4.1 Flash (max) и Kimi K3 (max) с 44%. ➤ GPT-6.1 Sol (max) даёт лучшее соотношение цены и результата: при $0,81 за задачу набирает 49%, как Claude Fable 5.1 (max with fallback). Это уровень ведущих моделей Anthropic за меньше чем десятую часть стоимости задачи. Спасибо @silasalberti, @ybenpan, @cl571128 и остальной команде Cognition за FrontierCode и за совместную работу, благодаря которой он пришёл в Artificial Analysis. Совсем скоро добавим FrontierCode в наш рейтинг код-агентов, уже над этим работаем.
· 32,1 тыс. просмотров
В обычных замерах кода главное — unit-тесты. FrontierCode смотрит ещё и на поведение: лишние правки, большие диффы, правки вне нужной области, бесполезные тесты.
Цена за задачу. GPT-6.1 Sol (max) набирает 49% при $0,81 за задачу, как и Claude Fable 5.1 (max with fallback). Ведущие модели Anthropic стоят за задачу больше чем в десять раз дороже Sol.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Открытые веса. MiMo-V2.6-Pro лидирует среди моделей с открытыми весами: 45%. DeepSeek V4.1 Flash (max) и Kimi K3 (max) набирают по 44%.
Повторить замер. Задачи закрыты, свой прогон на них не сделать. Харнесс Stirrup, на котором Artificial Analysis гоняет модели, открытый: ставится командой pip install stirrup.
FrontierCode войдёт в рейтинг код-агентов Artificial Analysis: в твите срок назван «совсем скоро», даты нет.
* Meta Platforms Inc. признана в РФ экстремистской организацией, её деятельность запрещена; Facebook и Instagram заблокированы. Meta AI и другие продукты компании — продукты этой организации.
Первоисточник