3 октября 2026 г.
Модель для задачи выбирает Jev: в LangChain выбор действует на весь запуск агента
На 03.10.2026 Jev 1.13 стоит $0,042 за миллион входных токенов: столько стоит классификация запроса перед выбором модели.
Harrison Chase
@hwchase17
Классный проект от @dbreunig В LangChain для этого есть ModelRouterMiddleware: Jev читает первое сообщение, выбирает модель, и она ведёт весь запуск. Jev стоит настолько мало, что через собственный hook можно заново выбирать модель после каждого результата инструмента. Документация: https://docs.langchain.com/oss/python/integrations/providers/typesafe#model-routing https://x.com/dbreunig/status/2106456056042025235
Небольшой пример выбора модели по вашему первому промпту с помощью DSPy и Jev. Набросал по просьбе примерно за 15 минут и сам удивился, как хорошо работает! https://gist.github.com/dbreunig/949b42c7202508881d7c5a64ccd0fb9b
· 1,4 тыс. просмотров
Jev разбирает запрос, а ModelRouterMiddleware в LangChain выбирает модель для всего запуска ИИ-агента.
Вместо одной заранее заданной модели разработчик задаёт несколько вариантов и критерии выбора. В готовом примере Дрю Бройнига Jev описывает запрос, а Python-код выбирает между claude-haiku-4-5, claude-sonnet-5-5 и claude-opus-5-5. Порог для простого однострочного ответа составляет 0,85, для эскалации — 0,5.
Подключение в LangChain. Установка начинается с `pip install "langchain-typesafe[experimental]" langchain-openai`. Ключ создаётся в console.typesafe.ai и задаётся через `export TYPESAFE_API_KEY=...`.
Из `langchain_typesafe.experimental.middleware` нужно импортировать `ModelChoice` и `ModelRouterMiddleware`. В `choices` задаются модели и их `criteria`, затем router передаётся в `create_agent(..., middleware=[router])`. Middleware классифицирует последнее сообщение пользователя и сохраняет выбранную модель для всех её вызовов в этом запуске.
Повторный выбор модели. После каждого результата инструмента модель можно выбирать заново через собственный middleware с hook `before_model`. `TypeSafeClassifier` принимает сообщения LangChain напрямую.
Бройниг также выложил готовый `dspy-jev-router.py`. Для него нужны `pip install "dspy[typesafe]==3.4.0"` и та же переменная `TYPESAFE_API_KEY`.
По документации TypeSafe на 03.10.2026, alias `jev-latest` указывает на `jev-1.13.0`, выходные токены бесплатны. Jev принимает до 64 тыс. токенов на запрос, а общая часть запроса `state` вместе с самым длинным вопросом должна укладываться в 32 тыс. токенов. Модель обрабатывает `state` один раз и оценивает вопросы параллельно.
На ту же дату TypeSafe допускает 100 тыс. токенов/с и 80 запросов/с. При превышении сервис возвращает HTTP 429.
Первоисточники: [подключение маршрутизации в LangChain](https://docs.langchain.com/oss/python/integrations/providers/typesafe#model-routing), [готовый пример DSPy и Jev](https://gist.github.com/dbreunig/949b42c7202508881d7c5a64ccd0fb9b).
Выбранная в LangChain модель доступна в результате запуска через `result["model_route"].choice`.
Первоисточник