Удобный агент проигрывает в бенчмарках: 90% замеров не про реальную работу, говорит автор opencode

Dax Raad, автор opencode, объясняет это тем, что люди дорисовывают способности продукту, который им нравится. Из этого он вывел правило: продукт, который лучше только на бенчмарке, для конечного пользователя ничем не отличается от чужого.

Что видит пользователь. Не оптимизации уровня математического гения, а базовые вещи: хороший ли продуктовый опыт, отзывчиво ли работает, легко ли сделать то, что хочешь. Бенчмарки меряют другое — 90% из них, по оценке Raad, не похожи ни на что в реальном мире, а кодинг-бенчи часто устроены как лабиринт, из которого надо выбраться программой.

opencode запустили вшестером в июле 2024, и первые пять месяцев обвязка агента вокруг модели была не идеальной, признаёт Raad. Работала, и этого хватило. К маю 2026 opencode вырос с 650 тысяч месячных пользователей почти до 8 млн, около 1 млн заходят каждый день.

Прогнать самому. Свой бенч команда выложила на GitHub, репозиторий anomalyco/opencode-bench: `bun install`, `bun run build`, дальше `orvl opencode --model opencode/claude-sonnet-4-5 --eval DataDog/datadog-lambda-python`, оба флага обязательны. Бенч гоняет агента по настоящим репозиториям коммерческих open source-проектов вроде Sentry, а не по головоломкам.

Тестов в привычном смысле там нет. Ответ агента оценивают три LLM-судьи с равным весом: claude-4.5, gpt-5-codex и kimi. Тяжелее всего весит эквивалентность логики, 30% оценки, дальше идут сигнатуры API, корректность интеграции, покрытие тестами и проектные проверки.

Снаружи такой замер уже есть: Artificial Analysis сравнивает Claude Code, Cursor CLI и opencode на одной модели, Claude Opus 4.7.