ToyBlocks: робот после обучения в симуляции выполнил 50% задач на физическом оборудовании

ToyBlocks представляет собой виртуальную среду для обучения и проверки роботов на задачах с кубиками. В симуляции та же связка справилась со 111 из 200 задач, или 55,5%. Практический результат здесь — перенос навыков из виртуальной среды на оборудование без обучения на физических демонстрациях.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Демонстрации без оператора. ToyBlocks генерирует учебные примеры без телеуправления человеком. Сотни планов выполняются параллельно на одной GPU со скоростью до 24 раз быстрее реального времени.

В карточке датасета Ai2 указаны 83 496 эпизодов, а в анонсе компания приводит 85 336 демонстраций. Карточка также содержит 143,7 млн кадров и 1 596,4 часа записей в формате LeRobot v3. Отдельный тестовый набор RA включает 1 000 эпизодов и занимает 79 ГБ.

Агент улучшил результат, когда сам исследовал среду и записывал описания освоенных навыков. Без этих описаний успешность составляла 24%, с описаниями человека-эксперта — 36%. Собственные описания агента дали 63%.

В другом эксперименте исследователи добавили 100 траекторий от лучшей из проверенных видеогенеративных моделей. После этого политика управления выполняла 78% задач в незнакомой области рабочего пространства вместо прежних 19%.

Локальный запуск. Для ToyBlocks нужны Linux и NVIDIA GPU с драйвером 570+ и поддержкой CUDA 12.8. Isaac Sim 5.1 требует Python 3.11. Локальный CUDA toolkit для cuRobo v2 устанавливать не нужно.

После клонирования репозитория `allenai/ToyBlocks` установка выглядит так:

1. Создать окружение командой `uv venv --python 3.11` и активировать его. 2. Загрузить подмодули командой `git submodule update --init --recursive`. 3. Установить зависимости командой `uv pip install -e ".[dev,isaac,torch-cu128,vecgen]"`. 4. Скачать ассеты командой `get-toyblocks-assets --asset-manifest asset_manifest.json`.

Для управления роботом через LLM нужны дополнительные зависимости `vecgen,agentic` и собственный `OPENROUTER_API_KEY`. Команда `agentic-robotics menu --backend oracle` запускает интерфейс по адресу `http://127.0.0.1:8083`. Вызовы модели оплачивает владелец ключа.

Готовую обученную ManiFlow можно скачать командой `hf download allenai/maniflow-tb --local-dir checkpoints/maniflow-tb`. Команда `agentic-robotics serve --maniflow maniflow-tb` запускает сервер на порту 8000.

Тестовый набор скачивается отдельно командой `hf download allenai/toyblocks-data --repo-type dataset --include "Easy/Test/**" --local-dir toyblocks-data`.