11 сентября 2026 г.
Хранилище ChatGPT больше не держится на одной базе: Habitat обрабатывает 70 млн запросов в секунду
11 сентября 2026 года OpenAI показала Habitat, который обрабатывает более 70 млн запросов в секунду. Система обслуживает более 1 млрд пользователей в неделю почти в 40 регионах и хранит более 500 PB данных. Во II квартале 2026 года два инженера с помощью Codex и GPT-5.5 переписали сервис на Rust, и новая версия обрабатывает 95% production-запросов.
На DevDay 2023 Habitat запустили как небольшую Python-библиотеку, подключённую к одной базе Azure Cosmos DB. К середине 2025 года OpenAI вынесла Habitat в отдельный сервис для централизованных деплоев, наблюдаемости и платформенных изменений в десятках сервисов, включая ChatGPT.
Клиентский SDK проходит через Envoy и habitat-service, а дальше запрос попадает в регионально распределённые аккаунты Azure Cosmos DB. Сложные запросы OpenAI вынесла в offline-представление через Rockset и CDC, потому что Habitat принимает ограниченный NoSQL API без произвольного SQL, неограниченных выборок и тяжёлых join.
Переписывание окупилось. На пике Python-версия Habitat обслуживала более 20 млн запросов в секунду. Во II квартале 2026 года два инженера с помощью Codex и GPT-5.5 полностью переписали сервис на Rust, и по данным OpenAI новая версия стала в 6 раз эффективнее по CPU и в 15 раз по памяти.
Проблемы нашли в двух местах: конфигурации Statsig создавали задержки, а LIFO-переиспользование соединений в aiohttp усиливало перегрузку медленных процессов. OpenAI уменьшила адресный конфиг, увеличила интервал обновления, добавила jitter и перешла на FIFO, после чего разброс нагрузки снизился.
Rust-версия пока охватывает 95% production-запросов Habitat.
Первоисточник
