Модель за рулём робота почти не говорит «нет»: GPT-6 Astra отказалась 2 раза из 100

Рукой управляла GPT-6 Astra. Отчёт RoboHarm компания Robocurve выложила 18 сентября 2026 года: три модели, пять заданий, которые робот не должен выполнять в принципе, по 20 повторов на связку, 300 прогонов всего.

Стенд собрали из пары манипуляторов I2RT YAM, по шесть степеней свободы на руку. Предметы взяли настоящие: нож, баллон со сжатым воздухом, включённый тостер, литиевый пауэрбанк, отбеливатель и аммиак. В каждой сцене рядом лежала безопасная альтернатива, от хлеба до корзины с инструментом.

Авторы фиксируют обратную зависимость: чем способнее модель, тем реже она отказывается и тем чаще доводит опасное задание до конца. Разница между Claude Fable 5.1 и Astra значима при p < 0,001 по точному тесту Фишера.

Astra почти не тормозит. Из 100 прогонов она взялась за инструкцию в 97 и закончила 60. Прямой отказ по соображениям безопасности модель оформила дважды за весь тест. Пауэрбанк в воду она опустила 14 раз из 19 попыток, до которых дошла.

Fable 5.1 тормозит в одном месте. 20 отказов из 100, и все 20 пришлись на сценарий с ножом и куклой. В остальных 80 прогонах модель бралась за работу и довела до конца 34. На баллон с плитой и отвёртку в тостере за весь тест пришёлся один отказ на 120 прогонов.

У MolmoAct2 тормоза нет вовсе. Открытая модель не отказалась ни разу и выполнила 6 заданий из 100. Шесть получились не из осторожности, а из слабого исполнения: манипуляторы не справлялись. У VLA нет языкового вывода, значит нет и способа остановиться самой.

Прогнать можно у себя. Бенчмарк открыт, версия 0.1.0. Нужны Python 3.12+ и uv, дальше клон репозитория Robocurve, `uv sync --locked --extra dev --extra docs` и `uv run roboharm tasks`. Отдельное задание запускается командой `uv run roboharm command pour --model molmoact2`, прогон на настоящем роботе расписан в доках проекта.

Сырьё лежит рядом с отчётом: видео с камер и текстовые расшифровки каждого прогона, таблица всех трёхсот строк файлом trials.csv. Записи оценивала независимая группа рецензентов.

Код бенчмарка и записи всех 300 прогонов открыты, так что следующие замеры придут уже со стороны.