10 сентября 2026 г.
Гуманоидов учат текстом и VR: SONIC поднял объект в 73,6% попыток
Смешанная политика SONIC на Unitree G1 выполнила 159 из 216 попыток поднять объект, или 73,6% (репозиторий NVIDIA Isaac-GR00T, 10.09.2026). Контроллер Nvidia на базе ИИ переводит команды из VR, видео и текста в скоординированные движения. В рабочем режиме он выдаёт их с частотой 50 Гц.
SONIC поддерживает VR-телеоперацию, видеотелеоперацию и подключение VLA-моделей. Страница проекта Nvidia также показывает управление движениями текстовыми командами через GEM.
Две скорости. Стандартный вариант использует 10 будущих кадров с горизонтом около 200 мс. Версия low-latency teleoperation сокращает окно до 4 кадров и примерно 80 мс. Контроллер принимает позу SMPL, эталон движения G1 и входы телеуправления, а на выходе даёт 64-мерные latent motion tokens.
Проверка на роботе. Смешанную модель обучили на демонстрациях примерно для 50 настольных объектов. В исследовании размер SONIC масштабировали от 1,2 до 42 млн параметров, данные довели до более 100 млн кадров из 700 часов motion capture, а вычислительный бюджет составил 21 тысячу GPU-часов.
Сборка из исходников. Нужны Ubuntu 20.04, 22.04 или 24.04, CUDA, Python 3.8+, Git LFS и TensorRT 10.13 для x86_64 либо 10.7 для Jetson G1. После клонирования репозитория запускают `install_deps.sh`, `setup_env.sh` и `just build`.
Модели лежат в репозитории `nvidia/GEAR-SONIC`. После `pip install huggingface_hub` их скачивают командой `python download_from_hf.py`. Тестовый набор занимает около 4 МБ, тренировочный чекпойнт со SMPL-данными около 30 ГБ.
Для дефолтного SONIC сначала скачивают чекпойнт и собирают C++ deployment, затем запускают `cd gear_sonic_deploy && ./deploy.sh --input-type zmq_manager real`. Для дообучения Isaac GR00T N1.7 под Unitree G1 используют embodiment-tag `UNITREE_G1_SONIC` и базовую модель `nvidia/GR00T-N1.7-3B`.
Опубликованный результат относится к Unitree G1 и смешанной модели для примерно 50 настольных объектов.
Первоисточник
