5 ноября 2026 г.
Cosmos 3: 4 модели NVIDIA со скачиваемыми весами для симуляции роботов и дорожных сцен
Можно генерировать данные камер и LiDAR для автомобильных симуляций и предсказывать видео по действиям робота.
Transfer-Auto генерирует согласованное видео с 11 камер и данные LiDAR. Разработчик задаёт устройство сцены и движение, а текстом меняет внешний вид.
NVIDIA посвятила публикацию 5 ноября четырём моделям семейства Cosmos 3. Это нейросети для симуляций, которые можно скачать и встроить в собственную среду. Для роботов они предсказывают следующие наблюдения по действиям, для автомобильных систем создают данные сенсоров.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
У каждой своя задача. В коллекции Cosmos3-Examples доступны четыре варианта:
- Cosmos3-Nano-Transfer-Auto создаёт дорожные сцены для заранее подготовленных наборов данных. - Cosmos3-Nano-Sim-Auto выдаёт видео и LiDAR короткими порциями по мере изменения управляющих команд. - Cosmos3-Nano-Sim-Transfer превращает карты глубины, разметку объектов, контуры или размытое изображение в цветное видео по промпту. - Cosmos3-Nano-Sim-Bimanual предсказывает наблюдения по движениям робота или камеры и поддерживает YAM и AgiBot.
Transfer-Auto сначала генерирует набор данных целиком. Созданная на её основе Sim-Auto работает потоком, а для взаимодействия по замкнутому контуру разработчик подключает среду симуляции и WSM renderer, который обновляет описание сцены после каждого действия. Под собственный набор сенсоров NVIDIA предлагает сначала адаптировать Transfer-Auto, затем получить потоковую модель.
Для запуска есть инструкция. Пример Sim-Bimanual требует Python 3.13, Git LFS, FFmpeg и CUDA-совместимый драйвер. Зависимости устанавливаются через uv 0.11.29, веса скачиваются командой `hf download nvidia/Cosmos3-Nano-Sim-Bimanual`. Готовая последовательность из 900 действий даёт 901 кадр при 30 кадрах в секунду.
Для всех четырёх моделей NVIDIA указывает лицензию OpenMDW1.1, которая допускает коммерческое использование на её условиях.
Источники: [NVIDIA о моделях Cosmos 3, 5 ноября 2026 года](https://huggingface.co/blog/nvidia/cosmos-interactive-world-simulation).
Карточка Sim-Bimanual датирует выпуск V1.0 20 октября 2026 года, поэтому публикация 5 ноября описывает уже доступную модель.
Первоисточник