20 октября 2026 г.
Cosmos3-H-Dreams: нейросеть генерирует сцену операции в VR-шлеме на одной видеокарте, 43 кадра в секунду
NVIDIA выложила Cosmos3-H-Dreams 20.10.2026 на GitHub и Hugging Face: модель на 15,17 млрд параметров генерирует сцены клинической холецистэктомии. Прошлая версия работала со стендом dVRK для задач на столе, новая масштабирована на хирургическую платформу CMR Surgical Versius.
Предыдущий Cosmos-H-Dreams строился на Cosmos-Predict2.5 и работал со стендом dVRK для задач на столе. Cosmos3-H-Dreams построен на Cosmos3-H-Embodied-Nano (16 млрд параметров) и дистиллирован в 4-шаговую и 2-шаговую причинные версии.
Что нужно. Нужен Linux с NVIDIA CUDA GPU, Python от 3.12 и uv 0.11.8 или новее. В README требуется больше 32 ГБ видеопамяти, модель тестировалась на RTX PRO 6000, DGX Spark и H100.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Установка. В папке репозитория выполните `uv sync --package flashdreams-cosmos3-h-dreams --locked`. Веса берутся отдельно на Hugging Face в карточке nvidia/Cosmos3-H-Dreams. В README путь размещения data_local/checkpoints/model.safetensors, а команда запуска ждёт файл c3-h-d_2-step_model_bf16.safetensors, поэтому имя сверяйте с тем, что скачали.
Запуск. Перед стартом сделайте самоподписанный HTTPS-сертификат через openssl с CN=headset и SAN с LAN-IP сервера. Затем запустите `uv run --no-sync cosmos3-h-dreams-run headset --session-config cosmos3_h_dreams/configs/real_time_2steps.yaml --checkpoint PATH/TO/CHECKPOINT/c3-h-d_2-step_model_bf16.safetensors`. В браузере шлема откройте https://<LAN-IP>:8443/headset и нажмите «Enter VR», на ПК смотрите https://<LAN-IP>:8443/viewer.
Скорость. На RTX PRO 6000 при 832x480 выходит 30,0 FPS на 4 шагах и 43,2 FPS на 2 шагах. На DGX Spark при 512x288 и 2 шагах выходит 16,9 FPS.
Лицензия. Код и пакет cosmos3_h_dreams лежат под Apache-2.0, веса идут по NVIDIA Open Model License Agreement.
* Meta Platforms Inc. признана в РФ экстремистской организацией, её деятельность запрещена; Facebook и Instagram заблокированы. Meta AI и другие продукты компании — продукты этой организации.
Первоисточник