15 августа 2026 г.
Роутер обгоняет одну модель на все запросы: xRouteBench намерил +14,6% качества
16 роутеров собрали в одну библиотеку и прогнали по общему бенчу: обучаемый выбор модели дал +14,6% к лучшей одиночной.
Внутри одного пула моделей цена входного миллиона токенов гуляет от $0,05 до $1,25.
Выбор, какой модели отдать запрос, давно стал рычагом счёта за инференс. Сравнить сами роутеры было не с чем: каждая работа мерила по-своему.
Что собрали. Команда Тао Фэна из Иллинойсского университета выложила библиотеку LLMRouter, где больше 16 реализаций роутеров работают под одним интерфейсом. Рядом идёт бенчмарк xRouteBench на 4767 запросов. Пять треков покрывают обычные задачи к LLM, долгую память, зрение, временные ряды и персонализацию. Статью подали на arXiv 7 августа.
Раньше вендор роутинга обещал экономию собственной табличкой, и проверить её было нечем. Теперь замер лежит открыто: 18 open-weight моделей от 7B до 671B у Together AI и NVIDIA NIM, разброс цены между ними 25 раз.
Порядок меняют деньги. По чистому качеству MLPRouter стоит внизу таблицы. Стоит завести в замер цену, и лёгкий роутер выходит в оптимальные.
Персонализация тоже даёт прибавку. Роутер, который смотрит не только на запрос, но и на самого пользователя, попадает точнее: 68,78% у GMTRouter против 66,40% у лучшего роутера без персонализации.
Как поставить. `pip install llmrouter-lib` на Python 3.10 и выше. Дальше всё живёт в командной строке: `llmrouter train` учит роутер, `llmrouter infer` отвечает на запрос, `llmrouter chat --share` поднимает веб-интерфейс. Для ответов нужен ключ провайдера или своя локальная модель, GPU понадобится только на обучение.
первоисточник