20 сентября 2026 г.
Судью для агента можно брать дешёвый: Jev совпал с разметкой человека в 100% случаев
LangChain прогнал 500 проверок: Jev совпал с человеком в 100% случаев и обошёлся в $0.34 против $28.17 у Claude Sonnet 4.6.
Harrison Chase
@hwchase17
«jev as a judge» дешёвые и быстрые семантические верификаторы! отлично заходят для evals, особенно для онлайновых, где надо оценить КУЧУ трасс
Мы сравнили Jev с LLM-судьями по точности, повторяемости, задержке и цене, чтобы понять, могут ли модели класса System One дать новый подход к оценке агентов.
· 4,2 тыс. просмотров
Один и тот же прогон оценок обошёлся в $0.34 и в $28.17. Разницу сделал не агент, а тот, кто судил его ответы.
Инженеры LangChain Дэниел Ши и Шон Роше взяли пять ответов погодного агента и прогнали каждый по 100 раз четырьмя судьями: 500 решений на судью. Эталоном служила разметка человека.
Судья сошёлся с человеком. Jev попал в разметку в 100% случаев, Claude Sonnet 4.6 — в 80,0%, обе модели GPT-5.6 встали между ними. Судья с точностью 80% ошибается в каждом пятом решении о трассе.
Jev ещё и держит своё решение от прогона к прогону: разброс его оценок оказался в 92 раза меньше, чем у Claude Sonnet 4.6.
Раньше трассы судила большая модель: Claude Sonnet 4.6 думал над каждой 2,8 секунды и брал $0.05634 за вызов. Jev отвечает за 0,44 секунды и берёт $0.00035.
Jev не пишет текст, а выносит решение. На OpenRouter входные токены стоят $0.042 за миллион, выходные не тарифицируются вовсе. Контекст у модели 32 000 токенов.
Как подключить. Ключ берётся в консоли console.typesafe.ai/keys, SDK ставится командой `pip install typesafe-sdk` (нужен Python 3.10 и выше) или `npm install typesafe-sdk`. Запрос уходит на api.typesafe.ai/v1/systemone, модель по умолчанию jev-latest, вопрос бывает трёх видов: да/нет, выбор из вариантов, оценка.
Через LangChain путь короче: `pip install langchain-typesafe`, ключ в переменной TYPESAFE_API_KEY, класс TypeSafeClassifier работает как обычный Runnable, а решения Jev видны в LangSmith вместе с токенами и тратами. Braintrust добавил Jev скорером 18.09. Сам замер повторяется из открытого репозитория jev-as-a-judge.
У себя Jev не поднять: TypeSafe не публиковала ни весов, ни числа параметров, модель живёт только хостинговым API. Свои цифры компания дала при анонсе System One 15.09, замер на ответах агента сделала уже LangChain.
Следующий сигнал за сторонними замерами: цифры по Jev пока дали только сама TypeSafe и LangChain.
Первоисточник
