ИИ-агент обходится дешевле: маршрутизация в Deep Agents снизила расходы на 74%

Дешёвая модель первой. В режиме escalation агент начинает задачу на Nemotron 3.5 Lightning. После 2 последовательных отрицательных оценок отдельная модель-судья переключает его на Opus 4.8 до конца сессии. Вместо одной дорогой модели на всю работу агент получает дорогую модель после неудачных шагов.

Замер LangChain от 11.08.2026:

| Показатель | Только Opus 4.8 | Nemotron с переключением на Opus | | --- | --- | --- | | Стоимость прогона | $11,45 | $3,00 | | Доля верных решений | 86% | 80% |

Nemotron обработал 93% вызовов, Opus обработал 7%. На модель-судью ушло 21,2% расходов маршрутизации, а каждый ход получал примерно 700 мс дополнительной задержки.

Выбор модели встраивают в среду работы агента, где он выполняет задачу и вызывает инструменты. Предложенный порядок работы состоит из 4 шагов:

1. Разобраться в задачах. 2. Разобраться в возможностях моделей. 3. Встроить выбор модели в среду работы агента. 4. Отслеживать результаты.

Как подключить. В Deep Agents выбор модели подключается через `SwitchyardRoutingMiddleware` в `create_deep_agent`. Инструкция требует клонировать Switchyard и `langchain-nvidia`, установить их локально и использовать Python ≥3.12 с `deepagents` ≥0.7.4.

Для воспроизведения замера нужен сервер Switchyard. Агенту задают его `base_url`, модели описывают в конфиге и включают `llm_classifier` в режиме `escalation`. Пример подключения middleware использует другой алгоритм, поэтому для повторения замера важна именно эта настройка.

Middleware сохраняет выбранную модель и цепочку решений в `response_metadata["switchyard"]`, в полях `selected_model` и `decisions`.