GLM-5.3: NVIDIA дала пошаговый рецепт запуска модели на 2 DGX Station

Зачем нужны две. Чекпойнт занимает около 464 ГБ, а один GB300 располагает 252 ГБ быстрой памяти HBM3e. NVIDIA разместила модель на двух DGX Station и опубликовала инструкцию от соединения машин до проверки API и замера скорости.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Веса nvidia/GLM-5.3-NVFP4 доступны на Hugging Face. Модель содержит 753 млрд параметров и использует 40 млрд на запрос, но хранить нужно весь набор весов. По карточке NVIDIA от 10 сентября, формат NVFP4 сокращает требования к памяти примерно в 1,66 раза.

Как собрать сервер. По инструкции NVIDIA Connect Two Nodes от 4 сентября станции соединяют двумя QSFP-кабелями ConnectX-8 без коммутатора. Каждый кабель создаёт отдельный канал RoCEv2 на 400 Гбит/с. На диске каждой станции нужна полная копия весов.

После подготовки сети и скачивания модели инструкция использует Docker-образ vllm/vllm-openai:v0.30.0-aarch64 для ARM64. Команду `bash ~/launch-glm53.sh` выполняют сначала на станции B, затем на A. Станция A обслуживает OpenAI-совместимый адрес `/v1/chat/completions` на порту 8000 с вызовом инструментов для ИИ-агентов.

В конфигурации NVIDIA распределяет модель между двумя GPU через TP=2. MTP предлагает по 4 черновых токена для ускорения генерации, а KV cache хранится в FP8. Сервер также кеширует общие начала запросов и поддерживает контекст до 98 304 токенов.

При 32 одновременных запросах вместо 16 сервер выдавал уже 385,0 токена/с суммарно. Среднее время выполнения запроса выросло со 136,46 до 453,54 секунды, то есть примерно с 2,3 до 7,6 минуты.

NVIDIA провела замеры через AIPerf 0.12.0 на 80 диалогах SPEED-Bench Coding. В тесте стояли `reasoning_effort=max` и предел в 8192 выходных токена, включая рассуждения.

Получившийся сервер предоставляет агентным фреймворкам OpenAI-совместимый API с вызовом инструментов.