Прогнать свой набор евалов теперь можно одной командой: uvx smevals docs

Саймон Уиллисон 31 июля показал smevals - инструмент для прогона маленьких наборов евалов по моделям, обвязкам и промптам. Запуск одной строкой: uvx smevals docs. Делал он его вместе с Prime Radiant, разбор - в их блоге.

Почему это важно: Публичные бенчи меряют модель вообще, а не твою задачу. Свой набор проверок каждый собирал сам: скрипт, табличка, глазами сравнить два ответа. smevals заявлен именно под маленькие наборы и разводит три переменные, которые обычно слипаются в одну: модель, обвязка, промпт. Для инженера это ровно тот вопрос, на который трудно ответить честно - деградировал ответ из-за новой модели или из-за того, как ты её вызываешь. О лицензии, поддерживаемых провайдерах и цене в твите ни слова.

Что дальше: Взять свой рабочий набор промптов, прогнать его через smevals на двух моделях с одинаковой обвязкой и посмотреть, где расходятся ответы. Детали методологии - в блоге Prime Radiant.