19 сентября 2026 г.
Модели можно замерить на своём репозитории: Vals Smith даёт 120 бесплатных кредитов
Vals Smith собирает бенчмарк из вашего GitHub-репозитория: смерженные pull request'ы становятся задачами со скрытыми тестами.
Свой репозиторий теперь сам становится бенчмарком: сервис берёт ваши смерженные pull request'ы и прячет от модели тесты.
Открыла такую сборку Vals AI. Компания подняла $40 млн от a16z 13.08.2026 при оценке $400 млн, а её лидерборды лежат открыто: 30+ бенчмарков и больше 50 оценённых моделей, без регистрации.
Как собрать свой замер. Вход через GitHub, дальше выбираете публичный или приватный репозиторий, модели или агентов для кода и харнесс. Сервис отдаёт pass rate по каждой задаче. На старте даёт 120 бесплатных кредитов (блог Vals AI, 13.08.2026).
Один замер не отвечает на ваш вопрос. На поддержке чужого кода лучший результат у Claude Opus 5 — 28,53% (данные Vals, 17.09.2026). В тесте 100 приложений и до 10 связанных правок подряд поверх своего же кода. На сборке с нуля те же модели берут 90% (Vibe Code Bench v1.1, 15.09.2026). Цифра из чужого лидерборда не отвечает на вопрос про ваш код.
Тестовые материалы Vals не публикует, чтобы модели не тренировались на будущих вопросах. Vals Index 2.0 от 15.09.2026 складывает 7 бенчмарков по финансам, кодингу и юридической работе и взвешивает секторы по их доле в ВВП США.
Следующее обновление Vals Index покажет, догонит ли кто-нибудь Claude Fable 5.1.
Первоисточник
