1 августа 2026 г.
Прогнать свой набор евалов теперь можно одной командой: uvx smevals docs
Саймон Уиллисон 31 июля показал smevals - инструмент для прогона маленьких наборов евалов по моделям, обвязкам и промптам. Запуск одной строкой: uvx smevals docs. Делал он его вместе с Prime Radiant, разбор - в их блоге.
Simon Willison
@simonw
Я работал вместе с Prime Radiant над новым инструментом для прогона маленьких наборов евалов по моделям, обвязкам и промптам. Называется smevals, попробовать можно так: uvx smevals docs. А написал я о нём вот здесь: https://primeradiant.com/blog/2026/smevals.html
· 25,3 тыс. просмотров
Почему это важно: Публичные бенчи меряют модель вообще, а не вашу задачу. Свой набор проверок каждый собирал сам: скрипт, табличка, глазами сравнить два ответа. smevals заявлен именно под маленькие наборы и разводит три переменные, которые обычно слипаются в одну: модель, обвязка, промпт. Для инженера это ровно тот вопрос, на который трудно ответить честно - деградировал ответ из-за новой модели или из-за того, как вы её вызываете. О лицензии, поддерживаемых провайдерах и цене в твите ни слова.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Что дальше: Взять свой рабочий набор промптов, прогнать его через smevals на двух моделях с одинаковой обвязкой и посмотреть, где расходятся ответы. Детали методологии - в блоге Prime Radiant.
Первоисточник