18 октября 2026 г.
Session affinity в Vercel AI Gateway: диалог остаётся у провайдера с его кэшем промпта
Vercel AI Gateway теперь группирует запросы в сессии по диалогу: в логах видны цена, доля попаданий в кэш и агент, который сделал запрос. Session affinity держит каждую сессию у того провайдера, где лежит её кэш промпта.
Guillermo Rauch
@rauchg
Это так круто. Один общий вид на все сессии ваших агентов. Личные агенты и агенты для кода, приложения, API-ключи: всё в одном месте. Vercel AI Gateway помогает вести дела лучше. Модель выбираете вы, данные тоже (ZDR), а главное: *мета*данные, по которым считается RoI.
Смотрите все сессии агентов в логах AI Gateway. Сессии группируют запросы по диалогу: с ценой, долей попаданий в кэш и агентом, который их выполнил. Session affinity держит каждую сессию у провайдера, где лежит её кэш промпта.
· 2,9 тыс. просмотров
Логи показывают не отдельные вызовы, а разговор целиком: сколько он стоил и какой агент его вёл. Это ответ на вопрос о RoI, который автор твита называет главным.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Кэш не теряется. Session affinity отправляет все запросы сессии к провайдеру, у которого уже лежит кэш промпта. Анонс не приводит ни одного замера экономии.
Замеров экономии в анонсе нет.
Первоисточник