22 октября 2026 г.
DeepInfer в открытом доступе: фреймворк DeepSeek, по её словам, обрабатывает 155 трлн токенов в сутки
DeepSeek 20 октября открыла исходный код DeepInfer, фреймворка инференса, на котором работают её собственные сервисы. По её заявлению, один кластер обрабатывает 155 трлн токенов в сутки. Лицензия Apache-2.0, код на GitHub.
DeepInfer работал внутри сервисов DeepSeek и наружу не выходил. Теперь код опубликован на GitHub под Apache-2.0.
Как поставить. Из исходников это два шага. Сначала задайте export DEEPINFER_ACCELERATOR=nvidia (для Ascend задаётся свой ускоритель), затем запустите ./build.sh из корня репозитория. Проверка запускается командой python examples/offline_inference.py. Нужны Linux, GCC 13 или новее, Python 3.12 и CUDA 13 для NVIDIA или CANN 9.2 для Huawei Ascend.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Железо решает. Поддерживаются NVIDIA Blackwell (SM100) и Huawei Ascend 950. Архитектура Hopper, например H100, и более старые NVIDIA не поддерживаются.
Одна модель. Пока DeepInfer работает только с DeepSeek-V4.1-Flash. Версия 1017 загружается с Hugging Face по умолчанию, свои веса задаются через DEEPINFER_HF_MODEL_DIR.
Повторяемость на NVIDIA. Одинаковый результат при повторном запуске даёт DEEPINFER_BATCH_INVARIANT=1. Детерминированная выборка требует ещё DEEPINFER_ENABLE_MTP_VARLEN=0 и фиксированный seq_seed в SamplingParams. Оба режима работают только на NVIDIA.
Цифры только от DeepSeek. Бенчмарки гоняла сама компания и только на NVIDIA.
Пока в списке поддержки одна модель: DeepSeek-V4.1-Flash, версия 1017 по умолчанию.
Первоисточник