Модель под задачу можно померить на своём коде: OpenRouter отдаёт Ori Eval одной командой

OpenRouter выпустил Ori Eval 3 августа 2026. Инструмент ставится одной строкой curl, берёт задачи из твоей кодовой базы, гоняет их через API OpenRouter и оценивает ответы. Тезис авторов: лучшей модели вообще не бывает, бывает лучшая под конкретную задачу.

Почему это важно: Раньше модель выбирали по публичным таблицам: смотришь общий рейтинг и надеешься, что твой случай похож на средний. Свой eval собирали руками - придумать примеры, прогнать, сравнить ответы глазами. Теперь OpenRouter предлагает другой порядок: задачи берутся прямо из кода, прогон идёт через его же API, оценку ставит сам инструмент. Спор про лучшую модель переезжает из чужого лидерборда в твой репозиторий. По каким критериям Ori Eval выставляет оценку, в анонсе не говорят.

Что дальше: Поставить Ori Eval на один свой модуль, прогнать его двумя наборами моделей и сравнить результат с тем, что обещают публичные рейтинги.