ToyBlocks: навыки робота можно проверить на новых сценах с базой из 85 тысяч демонстраций

Меняются условия задачи. Исследователи обучают робота складывать и разбирать башни, переворачивать и поворачивать блоки на одной половине стола, затем проверяют на другой. Можно обучить его на башнях высотой 2 и 5 блоков, а проверить на высотах 3 и 4. Ещё один вариант проверки скрывает символы на блоках.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Ai2 собрал почти 1 600 часов демонстраций, или 144 млн кадров. Генератор выполняет сотни планов параллельно на одном GPU со скоростью до 24 раз быстрее реального времени. В эксперименте с Claude Opus 5.5 агент после собственных опытов написал описания навыков, с которыми успешность выросла с 24% до 63%. Описания человека-эксперта дали 36%.

Связка Molmo 2 + ManiFlow после обучения только в симуляции выполнила 15 из 30 задач составления слов на физическом роботе Franka FR3. Это 50% против 55,5% в симуляции, на знакомых блоках в простейших сценах с видимыми вертикальными символами. Обе модели доступны в коллекции ToyBlocks на Hugging Face как allenai/Molmo2-4B-tb и allenai/maniflow-tb.

Для локального запуска нужны Linux, NVIDIA GPU с драйвером 570+ для CUDA 12.8 и Python 3.11. После клонирования allenai/ToyBlocks установка выглядит так:

```bash git submodule update --init --recursive uv venv --python 3.11 uv pip install -e ".[dev,isaac,torch-cu128,vecgen]" get-toyblocks-assets --asset-manifest asset_manifest.json pytest tests/install --install-gpu ```

Quick start генерирует 2 задачи складывания башен на одном GPU, исполняет эпизоды и рендерит их. Затем собирает датасет LeRobot в `data/datasets/merged/train/my_first_run`. Для работы с готовыми данными можно скачать Easy/Test: 1 000 эпизодов с блоками вне обучающей выборки занимают 79 ГБ в формате LeRobot v3.

```bash hf download allenai/toyblocks-data --repo-type dataset --include "Easy/Test/**" --local-dir toyblocks-data ```

Для управления роботом через MCP нужны дополнительные пакеты `vecgen,agentic` и `OPENROUTER_API_KEY`, с которого оплачиваются вызовы модели. Команда `agentic-robotics menu --backend oracle` открывает локальный интерфейс на `http://127.0.0.1:8083`.

Ai2 опубликовал симулятор, данные, модели и код для воспроизводимых экспериментов со сменой условий.