28 октября 2026 г.
WorldOracle: world model дорисовала успешный захват там, где робот промахнулся
Площадка замеров открылась 16 октября 2026, и разрыв виден у всех: предмет в руке робота все пять моделей рисуют хуже самой руки.
Один кадр на входе, одна и та же цепочка команд. Робот промахнулся мимо фрукта, а world model показала фрукт в захвате.
WorldOracle мерит ровно это расхождение. World model по начальному кадру и последовательности действий дорисовывает будущее видео, и на этом будущем проверяют роботов. Правильно предсказанный провал здесь считается верным ответом, поэтому неудачные исполнения вынесены в тест-сет отдельным классом.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Рука против предмета. На данных телеоперации AgiBot G2 IRASim набрал 78,8 по руке робота и 29,1 по предмету, который эта рука двигает. У Cosmos 3 разрыв такой же: 89,4 и 45,4. Из пяти моделей, проверенных на этих данных, ни одна не нарисовала предмет точнее, чем руку.
Практику важен именно предмет. Прогноз, где робот красиво ведёт рукой, а фрукт живёт своей жизнью, прогон на железе не заменяет.
Чем дольше эпизод, тем хуже у всех. На полной последовательности оценка DreamDojo упала с 50,56 до 27,08, у Cosmos 3 с 53,99 до 26,60. GE-Sim 2.0 просела меньше остальных, с 73,86 до 63,33, и держит первое место на обоих горизонтах.
Порядок в таблице тоже меняется. На первых 30 секундах IRASim проигрывал Ctrl-World, DreamDojo и Cosmos 3, а на полной последовательности обошёл все три. Рейтинг короткого отрезка про длинный не говорит ничего.
Прогнать можно у себя. Нужен Python 3.10 на Linux, `bash setup_env.sh` и запуск `python evaluate.py --dimension physical_judge`, код лежит под Apache-2.0. Данные качаются с Hugging Face: трейн-сет из 1779 эпизодов AgiBot G2 и валидация из 32 эпизодов, около 19 GiB вместе.
Судьи сторонние. Пространственное совпадение считает DINOv3, качество зоны контакта V-JEPA2 и LPIPS, физическое состояние оценивает VLM: в статье числа посчитаны на GPT-5.5, лидерборд уже судит на GPT-5.6 Luna.
Сдача устроена жёстко. Аккаунт ждёт одобрения организаторов, выбирает один трек и одну платформу, грузит ZIP с `manifest.json` чанками по 16 MiB. Квота тесная: две оценки на трек и шесть всего в скользящем окне семи дней, а прежний результат в лидерборде заменяется только при строго более высоком Single-View или Multi-View Score.
Платформа принимает и закрытые модели, так что следующий лидерборд покажет, отстают ли open-weight world models от закрытых.
Первоисточник