Какая нейросеть лучше для кода: разбираем бенчмарки для ИИ-программистов

Кодовый бенчмарк — это экзамен, где ответ проверяет не человек, а тесты. Модели дают задачу, она пишет код, код запускают. Прошёл все проверки, задача решена. Упал хотя бы один тест, не решена, и никакого «почти правильно».

Этим кодовые бенчмарки честнее любых других экзаменов. Эссе по истории можно оценить по-разному, а падающий тест не переспоришь.

Общая механика у всех одна: набор задач, харнес, который подаёт их модели, и итоговый балл. Харнес — это обвязка прогона: код, который решает, какие инструменты и сколько попыток получает модель. Как устроен любой бенчмарк и почему цифра без паспорта не значит ничего, мы разобрали в большом разборе бенчмарков. Здесь смотрим только на код.

У кодовых бенчмарков своя история болезни. Сначала модели выучивают задачи. Потом выясняется, что балл рисует харнес. А летом 2026-го всплыл подвох потоньше: за модель иногда отвечает другая модель. Разберём все три по порядку, на живых историях.

Первый массовый бенчмарк кода OpenAI выпустила в июле 2021 года. HumanEval, 164 задачки на Python: вот описание функции, напиши тело, пройди тесты. Тогдашний Codex решал 28,8% (статья OpenAI, 2021).

Казалось, вот линейка прогресса на годы. Оказалось, на четыре. К 2025-му топ-модели вышли на 96%+, а разница между «97» и «98» на 164 задачах — меньше двух задач, случайный шум. Бенчмарк перестал различать сильных.

Задачи 2021 года к тому же давно лежат в интернете, то есть в обучающих данных моделей. Отличить «решил» от «вспомнил» на HumanEval уже нельзя. Если в обзоре нейросеть хвалят циферкой HumanEval, обзор устарел года на три.

Мораль первой истории: маленький набор задачек-функций не равен профессии. Программист не пишет функции по описанию в вакууме, он копается в чужом репозитории. Индустрия это поняла и построила бенчмарк из настоящей работы.

В октябре 2023 команда из Принстона собрала SWE-bench из 2 294 реальных задач с GitHub: живые баг-репорты и запросы фич из 12 популярных Python-проектов. Модели дают весь репозиторий и текст задачи. Она должна написать патч, а патч гоняют против скрытых тестов.

В 2024–2026 исследователи вскрыли SWE-bench с трёх сторон, и каждый разрез убавлял веры в таблицу.

Ответы лежали в самих задачах. Задачи SWE-bench — старые issue из публичных репозиториев, и во многих обсуждениях прямо написано, как чинить. Когда исследователи отфильтровали такие задачи и слабые тесты, результат агентов на Verified упал с 51,7% до 25,9% (SWE-Bench+, 2024). Половина успеха держалась на подсказках и дырявых проверках.

Модель помнит задачи наизусть. Работа «The SWE-Bench Illusion» (июнь 2025) показала: топ-модели называют файл, где сидит баг, в 76% случаев по одному тексту задачи, вообще не заглядывая в репозиторий. На проектах вне бенчмарка та же способность падает до 53%. Это память, а не инженерное чутьё. Задачи просто были в обучающих данных.

Корпус узкий. Около 40% задач — из одного проекта Django, пять проектов покрывают больше 80% задач. И всё это только Python. Отличник такого бенчмарка знает чужие старые баги Django, а не профессию программиста.

Дальше произошло редкое: индустрия согласилась. В начале 2026 OpenAI публично перестала отчитываться по Verified и перешла на бенчмарки нового поколения. О них следующая история.

Ответ на выученные задачи один: задачи, которых модель не могла видеть. Три подхода.

Закрытые задачи. SWE-bench Pro (Scale AI, сентябрь 2025) собрал 1 865 задач из 41 репозитория на четырёх языках, и часть корпуса держит закрытой: эти репозитории не могли попасть в обучение. Задачи взрослые, в среднем правка на 107 строк в четырёх файлах. Результат отрезвил.

Свежие задачи по дате. LiveCodeBench засчитывает модели только задачи, опубликованные после конца её обучения. Списать физически не с чего. Родственный LiveCodeBench Pro взял 584 задачи олимпиадного уровня: лучшие модели без инструментов решают 53% средних и 0% сложных (июнь 2025). По олимпиадной шкале это уровень «мастер», далеко не гроссмейстер.

Реальные деньги вместо баллов. SWE-Lancer (OpenAI, февраль 2025) взял 1 400 с лишним настоящих фриланс-заказов с Upwork на миллион долларов суммарных выплат, от багфикса за $50 до фичи за $32 000. Лучшая модель исследования «заработала» $403 тысячи из миллиона. Хороший подмастерье, которому пока не доверить большинство заказов.

Есть и бенчмарк на самостоятельность целиком. Terminal-Bench проверяет, как модель сама ведёт задачу в терминале от начала до конца, с установкой окружения и отладкой. На его сложном ярусе лучшие берут около 66% (Artificial Analysis, май 2026).

Соберём всё в одну таблицу. Имена — двери на сами площадки, а звёзды GitHub показывают, насколько бенчмарк на слуху у разработчиков.

Карта выглядит как ответ. Теперь второй подвох: балл в таблице принадлежит не модели, а паре «модель + харнес».

Лучшее доказательство — официальный лидерборд Terminal-Bench, где одна и та же модель заявлена в нескольких харнесах сразу.

То же с другой стороны. У линейки Claude Opus на одном SWE-bench Verified живут три числа: 76,8% на официальном лидерборде в скромном bash-харнесе, 80,9% в релиз-заявке Anthropic со своим харнесом (Opus 4.5, ноябрь 2025) и 88,6% у независимого замерщика Vals AI (Opus 4.8, август 2026). Никто не врёт. Просто это три разных условия сдачи и две версии модели.

Ручкой служит даже усердие. Один gpt-5 на Aider Polyglot: 88,0% на высоком уровне размышления и 81,3% на низком — семь пунктов на одном переключателе.

Отсюда правило чтения. Строка таблицы без названия харнеса не говорит ничего, а смена харнеса легально двигает балл и меняет победителя: когда агрегатор Artificial Analysis заменил один компонент своего индекса, лидер сменился без единого нового релиза моделей.

Третья история случилась летом 2026-го и добавила вопрос, который раньше не приходил в голову никому: а кто вообще отвечал на задачи.

У Anthropic вышла Claude Fable 5 с необычным устройством: перед моделью стоит фильтр-классификатор, и запросы из чувствительных областей он передаёт другой модели, Opus 4.8. В API такой отказ виден явно, отдельным полем ответа. А в приложениях и в Claude Code подмена происходит тихо: спросил одну модель, ответила другая.

Для замерщиков это стало ловушкой. Artificial Analysis обнаружила, что примерно в 8% задач её индекса вместо Fable 5 отвечала Opus 4.8, и опубликовала смешанный балл, честно пометив конфигурацию «Opus 4.8 Fallback». Vals AI на научном бенчмарке GPQA Diamond показала размах трактовок: 93,18%, если засчитывать ответы подменной модели, и 55,56%, если считать каждый отказ провалом. Одна модель, одна таблица, тридцать восемь пунктов разницы от одной учётной политики.

Через два дня после релиза Anthropic сделала самый тихий из фильтров видимым, а замерщики развели баллы на «pure» и «practical»: чистая способность модели и поведение с подменами. Оба числа честные, но это разные числа.

Так у паспорта цифры появился четвёртый вопрос: чьи ответы внутри балла. Хороший замерщик отвечает на него прямо в названии конфигурации.

Самый неудобный замер сделала лаборатория METR летом 2025-го, и он про людей. 16 опытных разработчиков решали 246 задач в собственных проектах, случайная часть задач шла с ИИ-помощниками. До старта они ждали ускорения на 24%. После финиша оценивали своё ускорение в 20%. Секундомер показал обратное: с ИИ они работали на 19% медленнее.

Это ранний 2025-й, конкретные инструменты и очень опытные люди в очень знакомом им коде, и METR уже перепроектирует эксперимент (февраль 2026). Но вывод для чтения таблиц вечный. Балл бенчмарка и польза в твоём проекте — разные величины, и вторая не следует из первой автоматически.

Чего кодовые бенчмарки не меряют почти совсем: ревью чужого кода, отладку по кривому баг-репорту, работу в легаси на миллион строк, читаемость и безопасность написанного. То есть большой кусок настоящей работы программиста.

Теперь собираем всё в короткий способ выбора.

1. Определи свой класс задачи, у каждого свой бенчмарк.

Разоблачения бенчмарков — не приговор моделям. Честные замеры роста впечатляют сильнее маркетинговых.

METR меряет не баллы, а длину задач: какую работу, если считать в часах человека-профи, модель вытягивает с надёжностью 50%. К январю 2026 горизонт лучшей модели дошёл до пяти с лишним часов, и он удваивается каждые 4–7 месяцев (METR, Time Horizon 1.1). Год назад счёт шёл на десятки минут.

А на ICPC 2025, мировом финале командного программирования, модели OpenAI решили 12 задач из 12. Ни одна команда людей столько не взяла. Gemini решила 10 из 12, включая задачу, которую не осилила ни одна человеческая команда (сентябрь 2025).

Противоречия с «0% сложных задач» здесь нет. На олимпиаде моделям дали время, попытки и вычислительный бюджет, в бенчмарке — одну попытку без инструментов. Это и есть главный навык чтения кодовых цифр: балл существует только вместе с условиями замера.

1. Кодовый бенчмарк — экзамен с проверкой тестами. Это честнее эссе, но у него три подвоха: выученные задачи, харнес и подмена сдающего.

2. Цифре нужен паспорт из четырёх вопросов: кто мерял, каким харнесом, когда собраны задачи и чьи ответы внутри балла.

3. Высокий балл на SWE-bench Verified не делает модель программистом: на закрытых свежих задачах те же модели решают одну из шести.

4. Выбирай по своему классу задач из карты, бери топ-3 и прогоняй на паре собственных задач: их точно не было в обучении.

5. Прогресс настоящий, горизонт задач удваивается каждые 4–7 месяцев. Врут не модели, врут цифры без условий замера.