РуБенч (RuBench) от vibecoding.ru · раунды 01–02
Паспорт прогона
Не доверяй цифре — проверь трассу. Здесь зафиксировано, из чего собраны раунды: параметры, гейты, брак и публичные артефакты каждой ячейки.
- сет
- 1.0 · 25 задач · заморожен
- пары
- 4 в зачёте + Fable 5 вне зачёта
- повторы
- 3 независимых прогона на пару
- ячейки
- 300 · пара × задача × повтор
- агенты
- Claude Code 2.1.201 · Codex CLI 0.142.5
- режим
- effort xhigh · настройки продуктов по умолчанию
- снапшот
- 07.07.2026
паспорт выше — раунд 1 · параметры раунда 2 — отдельной секцией ниже
четыре шлагбаума
Гейты раунда
Ячейка попадает в числитель и знаменатель только после всех четырёх проверок.
- 01
freshness-гейт
Все 25 починок датированы 10.02—30.06.2026 — позже training cutoff моделей зачёта. Датировка каждого билета опубликована.
- 02
REF-гейт
Больная версия обязана провалить оракул, а авторская починка мейнтейнера — пройти. Билет с односторонней проверкой не едет.
- 03
модель-гейт
Рельса сверяет фактическую модель каждого сообщения с заявленной. Подмена модели бракует ячейку и не превращается в результат агента.
- 04
рантайм-аудит
Сетевые действия и обращения к живому апстриму проверяются по траектории. Контаминированная ячейка помечается до публикации счёта.
round-02 · 18.07.2026
Раунд 2
Сет остался замороженным. Новые конфигурации ехали волнами, поэтому freshness-гейт применяется к каждой строке отдельно, а N печатается рядом со скором.
- волны
- 14–18.07.2026
- freshness-гейт
- per-configuration · у каждой строки свой N
- коллектор
- build_round02_results.py · детерминированно из сырых ячеек
- покрытие ре-аудита
- 437 ячеек · 100%
ре-аудит контаминаций
Пятый механизм честности: два независимых структурных сканера на ячейку, adversarial judge каждого флага и отдельный sweep запрещённых путей на диске. Контаминации опубликованы, не спрятаны, а honest-строки считают затронутые PASS как FAIL.
CONTAMINATIONS.md в витрине ↗операционный статус
Брак — не провал
Сеть, квота, VPN и сбой рельсы не говорят ничего о способности агента решить задачу. Такая ячейка получает статус «брак», исключается из счёта и переигрывается с сохранённой причиной. Незачёт означает только одно: агент отдал патч, который не прошёл оракул.
- FAIL · незачёт
- Агент завершил работу, но приватный тест мейнтейнера не прошёл.
- VOID · брак
- Технический сбой; результата нет, строка не влияет на score.
публичная витрина
Проверить артефакты
Оракулы приватны: открытый судья сразу утёк бы в тренировочные корпуса. Вместо него опубликованы слепок до статьи, результаты и полные траектории.
git clone https://github.com/eugeneshilow/rubench cd rubench/1.0 cat ORACLE_MANIFEST.sha256.txt cat rounds/round-01/RESULTS.md cat rounds/round-02/RESULTS.md cat rounds/round-02/CONTAMINATIONS.md ls rounds/round-02/rep1/ rounds/round-02/rep2/ rounds/round-02/rep3/
команды читают витрину · судью и закрытые тесты не раскрывают
email-гейт
Добавить пару агент + модель
Новая конфигурация проходит тот же замороженный сет и публикуется вместе с трассами. Self-serve запуска нет: заявку и условия прогона сверяем письмом до траты компьютов.