РуБенч: кто довозит задачу
по русскому ТЗ

РуБенч от vibecoding.ru - бенчмарк AI-агентов на задачах с русским ТЗ. Первый замер закрыт 07.07.2026: четыре конфигурации, 25 задач, 3 независимых прогона - 300 экзаменов. Эта страница - полный разбор замера: что и как меряли, чем судили, что нашли. Научная версия разбора - препринт arXiv:2607.06411 (EN, 7 июля 2026).

• Задачи настоящие: 25 багов из живых репозиториев (aiohttp, Laravel, aiogram, NestJS, Fastify), ТЗ написаны по-русски с нуля, не переведены.
• Судья настоящий: приватный регресс-тест мейнтейнера, который этот баг реально закрыл. Полный ход работы каждого агента публикуется.
• Зачёт: Opus 4.8 - 78.7%, Sonnet 5 - 74.7%, GPT-5.5 - 66.7%, Haiku 4.5 - 53.3% (среднее трёх прогонов ± разброс).
• Находка: на 5 задачах из 25 продукт «Claude Code + Fable 5» молча подменял модель на Opus 4.8 - официальный сейфгард-fallback, пойман по траекториям.

1.0Экономика зачёта

Sonnet 5 - лучшая цена скора: 74.7% по $2.42 за задачу. Opus 4.8 добавляет 4 пункта (78.7%) за +29% цены ($3.12); при разбросе трёх прогонов ±6.1 эти 4 пункта не различают соседей.

GPT-5.5 - лучший расход токенов: 16k на задачу, вдвое меньше Opus (33k), при 66.7% скора. Он же самый быстрый в зачёте: 11.6 минуты на задачу против 13 у обеих старших конфигураций Claude. Haiku 4.5 закрывает половину задач (53.3%) по $0.57 - в 5.5 раза дешевле Opus.

Все числа - в таблице первого экрана. Цена Claude - фактический счёт API из логов прогона; цена Codex - API-эквивалент по тарифам gpt-5.5, токены посчитаны из его сессий (подписки в $ несравнимы). Время - операционный факт, не ось оценки. Fable 5 - по 20 валидным задачам, вне зачёта.

2.0Fable 5: сейфгард подменяет модель

Самая сильная модель - Claude Fable 5 (релиз 02.07.2026; у июньского и июльского релизов разные сейфгарды) - идёт вне зачёта. Первая причина: методологию и конвейер этого бенча собрала сама Fable 5, участник не судит свой экзамен. Вторая вскрылась в логах и оказалась интереснее.

На 5 задачах из 25 продукт «Claude Code + Fable 5» молча подменил модель на Opus 4.8. В траекториях - официальная запись:

Задачи зачёта 1.0 · Fable 5, релиз 02.07.2026

На задачах, где Fable реально работала, счёт 17 из 20 (85%) - в одной полосе с Opus (86.7%) и Sonnet (86.7%) на тех же 20 задачах. Никакой «деградации модели»: это поведение продукта, сейфгарды релиза 02.07.2026. Подмена воспроизводима - повтор той же задачи снова уходит в Opus.

Увидеть такое можно только по полным траекториям. Бенчмарк без них записал бы эти 5 задач как «Fable провалила» - и посчитал бы Opus под чужим именем. Поэтому наша рельса теперь сверяет фактическую модель каждого сообщения с заявленной - расхождение бракует ячейку.

3.0Как устроен один билет

Мы не сочиняем задачи - сочинённое фронтир решает на 100%: автор не заложит сложность выше собственного понимания. Реальную сложность создал реальный мир.

Дальше только свежие починки - после даты, до которой модели «читали интернет»: старый баг модель могла запомнить. Каждый билет проверен в обе стороны: больная версия проверку проваливает, авторская починка проходит. Иначе билет бракуется.

Анатомия билета · что именно тестируется

Билет тестирует связку, а не слой: понять русское ТЗ → найти виновника в чужом кодексе → починить, ничего не сломав. Судья бинарный: довёз / не довёз.

Из чего собран сет · 25 задач · 5 репозиториев

Три класса задач · в зачёте 1.0 - класс P1

Задачи РуБенча делятся на три класса по источнику сложности. Зачёт 1.0 целиком состоит из первого.

P1 - инженерия. Реальные баги крупных открытых проектов. Агент получает чужой большой проект и русское ТЗ, как от заказчика, и должен довести починку до зелёных тестов. Все 25 задач зачёта - этот класс.

P2 - русские рельсы. Задачи вида «подключи проект к российской инфраструктуре»: приём платежей по правилам РФ (подпись запросов, повторные списания, чек по 54-ФЗ), обмен данными с 1С, российские облако и почта. Такую работу интеграторы делают ежедневно; мировые бенчмарки её не видят вовсе.

P3 - русская фактура. Мелкая механика русского контекста: кодировка cp1251 из старых систем, склонения и формы множественного числа, рубли и форматы дат, проверка реквизитов контрольными суммами.

P2 и P3 уже построены, но в зачёт 1.0 не вошли. Пилот июля 2026 показал: сильнейшие модели решают сочинённые задачи почти на 100%, то есть фронтир такие задачи не различают. Их работа - различать слабых и российских агентов; выход этих классов - РуБенч 2.0.

4.0Где ломаются: от репозиториев до одного билета

Сложность в сете распределена неровно, и это видно по репозиториям. Laravel-задачи - нижняя ступень: 88.5% решаемости в среднем по четырём конфигурациям. Тяжёлая полоса - aiogram: 47.9% в среднем, у GPT-5.5 и Haiku - по 33%.

Самый честный способ понять, что меряет бенч, - разобрать одну клетку до дна. Реальный баг aiogram (главная Python-библиотека Telegram-ботов, февраль 2026): бот со «сценами» падает на каждом посте в канале - пост не несёт пользователя, а машинерия диалогов строит состояние вокруг пары «чат + пользователь». ТЗ каждому агенту: «У нас бот со сценами. Добавили его в канал - на каждом посте сыпятся ошибки, личные диалоги должны работать как раньше. Почини.»

Контракт мейнтейнера - два движения. Первое видно из падения: нет пользователя, состоянием владеет чат. Второе видно только дочитавшему соседний код: нельзя построить состояние - сценная машинерия не появляется вовсе. Вторая половина и есть ось «читает ли агент чужой замысел».

Один билет говорит о бенче три вещи. Задача различает не «умеет ли агент кодить» - кодят все четверо - а глубину чтения чужого кода. Судья справедлив: Sonnet прошёл своим путём, и оракул принял. Провалы содержательные и разные - это диагнозы, не шум. Такой разбор доступен для любой из 300 ячеек: ход работы, патч и вывод судьи сохраняются.

5.0Правила честности и контаминация

• Провал ячейки - фейл агента, не инфраструктуры. Лимит подписки, сеть, подмена модели - ячейка бракуется и переигрывается, а не идёт в зачёт.
• ± в таблице - разброс трёх прогонов, не доверительный интервал: на 25 задачах честный интервал шире, разница до 4-5 пунктов не различает соседей. Большинство лидербордов даёт одну цифру одного прогона - мы публикуем разброс.
• Ход работы агентов сканируется на «подглядывание»: агент, добравшийся до приватного теста, бракуется. В зачёте 1.0 так отбраковано и переиграно 19 ячеек.
• Тексты ТЗ и проверок не публикуются - иначе следующие поколения моделей выучат экзамен. Публикуются метаданные, итоги и полный ход работы.
• Скорость и цена - рядом, не в оценке. Оценка - только «довёз / не довёз».

Контаминация · почему экзамен нельзя было выучить заранее

Главная защита - свежесть. Все 25 починок датированы 10.02-30.06.2026, позже дат, до которых обучались все модели зачёта: Claude - январь 2026, GPT-5.5 - декабрь 2025, Haiku - июль 2025. Ни фиксы, ни тесты мейнтейнеров физически не могли попасть в обучение - и датировка каждой задачи опубликована, аргумент проверяется построчно. Вторая линия: русские ТЗ написаны для бенча заново и до публикации в интернете не существовали. Третья: судья приватен, но его SHA-256-слепок выложен в открытый репозиторий до выхода статьи - подменить проверки задним числом нельзя. Четвёртая: канарейка-метка в каждом опубликованном файле - по ней будущие тренировки моделей могут вычистить наши данные, а мы - поймать утечку.

И пятая линия - рантайм-аудит, потому что свежесть закрывает обучение, но не интернет во время экзамена: у агентов была сеть, и в 3 зачётных ячейках из 300 (1%) агент скачал из живого апстрима свежий файл, где фикс уже влит - все три ячейки засчитаны как решённые. Исключение этих ячеек меняет счёт максимум на 2.7 пункта и не меняет ни одного места; ячейки помечены в публикуемых артефактах, а со следующей версии сеть агентам - только до зеркал пакетов.

6.0Что дальше

РуБенч 2.0 добавит русских агентов (GigaCode, SourceCraft, Kodify) рядом с мировым фронтиром, пулы P2/P3 (русские рельсы и фактура) нижними ступенями лестницы, английскую контрольную ветку ТЗ и задачи потяжелее, где фронтир расходится сильнее. Методология и полный ход работы агентов 1.0 опубликованы в открытом препринте - arXiv:2607.06411 (7 июля 2026). Новая версия - на каждый крупный релиз модели: инфоповоды поставляют вендоры.