21 июля 2026 г.
Gemini Batch API снизил p95-задержку на 80% и научился отдавать батчи частями
Google снизил p95-задержку Gemini Batch API на 80%, а p99 - на 68%. Доля успешных батчей выросла до 99,998%, просрочки упали на 98%, и вместо забора всего батча целиком теперь можно получить готовую часть.
Logan Kilpatrick
@officiallogank
Мы только что выкатили крупные инфраструктурные улучшения для Gemini Batch API: - p95-задержка снизилась на 80% - p99-задержка снизилась на 68% - доля успешных батчей теперь >99,998% - на 98% меньше просроченных батчей - добавили поддержку частичных батчей отличная работа команды, что довели это до релиза!!
· 145,2 тыс. просмотров
Почему это важно: Раньше батч в Gemini Batch API был всё-или-ничего: если часть заданий не успевала, ждать приходилось весь пакет целиком, а просрочки били по асинхронным пайплайнам. Теперь можно забрать готовую часть батча, не дожидаясь остальных, а задержки и доля просрочек упали на десятки процентов. Что это значит в деньгах и есть ли новые лимиты на размер батча, анонс не говорит.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Что дальше: Прогнать свой батч-пайплайн через Gemini Batch API и сравнить долю просрочек и p95-задержку до и после апгрейда - Google свои цифры раскрыл, чужие остаётся измерить самому.
Первоисточник