3 августа 2026 г.
Модель под задачу можно померить на своём коде: OpenRouter отдаёт Ori Eval одной командой
OpenRouter выпустил Ori Eval 3 августа 2026. Инструмент ставится одной строкой curl, берёт задачи из вашей кодовой базы, гоняет их через API OpenRouter и оценивает ответы. Тезис авторов: лучшей модели вообще не бывает, бывает лучшая под конкретную задачу.
OpenRouter
@openrouter
Представляем Ori Eval: самый простой способ написать свой первый eval. Лучшей модели вообще не бывает, бывает лучшая под конкретную задачу. Ori Eval берёт каждую задачу из вашей кодовой базы, прогоняет её через API OpenRouter и оценивает результаты. curl -fsSL https://openrouter.ai/skills/spawn-ori-eval
· 141,8 тыс. просмотров
Почему это важно: Раньше модель выбирали по публичным таблицам: смотрите общий рейтинг и надеетесь, что ваш случай похож на средний. Свой eval собирали руками - придумать примеры, прогнать, сравнить ответы глазами. Теперь OpenRouter предлагает другой порядок: задачи берутся прямо из кода, прогон идёт через его же API, оценку ставит сам инструмент. Спор про лучшую модель переезжает из чужого лидерборда в ваш репозиторий. По каким критериям Ori Eval выставляет оценку, в анонсе не говорят.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Что дальше: Поставить Ori Eval на один свой модуль, прогнать его двумя наборами моделей и сравнить результат с тем, что обещают публичные рейтинги.
Первоисточник