5 ноября 2026 г.
Веса моделей занимают меньше памяти: NVIDIA сжимает их в NVFP4 в 3,5 раза против FP16
NVIDIA освобождает память GPU под длинный контекст: сжимает веса и переносит неактивный KV cache в другие хранилища.
В разборе от 5 ноября NVIDIA оценивает экономию памяти под веса в NVFP4 в 3,5 раза относительно FP16 и в 1,8 раза относительно FP8.
В быстрой памяти GPU, HBM, модель делит место с KV cache. Там хранятся промежуточные данные контекста, чтобы модель не обрабатывала его заново. Длинные задачи ИИ-агентов увеличивают этот объём, а NVIDIA отмечает дефицит памяти и рост цен.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Как освободить память под контекст
Вдвое больше контекста. В замерах NVIDIA от 8 декабря 2025 года NVFP4 KV cache занимал примерно на 50% меньше памяти, чем FP8. На том же объёме памяти помещалось примерно вдвое больше контекста. На Qwen3-Coder-480B-A35B компания также получила до 3 раз меньшую задержку первого токена и до 20% более высокий cache hit rate: система чаще повторно использовала готовые данные контекста.
Как включить сжатие. Библиотека NVIDIA Model Optimizer устанавливается командой `pip install -U 'nvidia-modelopt[all]'`. Для NVFP4 KV cache нужно добавить `mtq.NVFP4_KV_CFG["quant_cfg"]` в `quant_cfg["quant_cfg"]` и вызвать `mtq.quantize(model, quant_cfg, forward_loop)`. В технической статье NVIDIA от 8 декабря 2025 года есть пример калибровки.
Dynamo KV Cache Runner переносит блоки контекста через NIXL между памятью GPU и CPU, локальными SSD и сетевыми файловыми системами. Вместо повторной обработки входных данных система возвращает сохранённый контекст. Во время вызовов инструментов Vera CPU может хранить KV cache в своих 1,5 ТБ LPDDR5X и обмениваться данными с Rubin через NVLink-C2C на скорости 1,8 ТБ/с.
Что NVIDIA получила на серверах
На DeepSeek-R1 в GB200 NVL72 переход с конфигурации EP8 на EP32 дал до 1,8 раза больше выходных токенов в секунду на GPU при 100 токенах/с на пользователя. В замере NVIDIA от 20 октября 2025 года обе конфигурации разделяли обработку входа и генерацию ответа и использовали MTP, предсказание нескольких токенов за шаг.
Для SemiAnalysis AgentX DeepSeek V4 Pro NVIDIA приводит следующие результаты на 5 ноября 2026 года. Производительность на доллар здесь означает число выдаваемых токенов в секунду относительно стоимости системы.
| Сравнение | Производительность на доллар | Скорость на пользователя | Изменение HBM на GPU | | --- | --- | --- | --- | | GB300 NVL72 относительно H200 | До 10 раз выше | 100 токенов/с | Примерно вдвое больше | | Vera Rubin NVL72 относительно GB300 NVL72 | До 30 раз выше | 125 токенов/с | Примерно на 3% больше |
Источники: [разбор NVIDIA об использовании памяти, 5 ноября 2026 года](https://blogs.nvidia.com/blog/memory-full-stack-codesign/).
NVIDIA также предоставляет контейнеры с предустановленным Model Optimizer.
Первоисточник