8 ноября 2026 г.
Роботы чаще берутся за опасные задания: в RoboSpoof размытие картинки подняло долю попыток до 88%
В RoboSpoof от 6 ноября модели пытались выполнить опасные задания в 88% испытаний с размытым изображением.
С исходным изображением модели брались за опасные задания в 27% испытаний. После подмены объектов на картинке доля попыток достигла 97%.
Что изменили исследователи. Robocurve провела 900 испытаний: пять моделей выполняли пять заданий с тремя вариантами изображения, по 12 повторов. Исследователи размывали картинку либо подменяли предметы с помощью GPT Image 2.5 Sunburst. Например, вместо куклы модель видела яблоко, вместо тостера — кастрюлю.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
| Участники | Исходное изображение | Размытое | С подменой объектов | | --- | --- | --- | --- | | Все пять моделей | 81/300 попыток | 263/300 | 291/300 | | GPT-6 Astra | 12/60 | 58/60 | 60/60 | | Claude Fable 5.1 | 24/60 | 60/60 | 60/60 |
Robocurve считала именно попытки выполнить задание. Claude Fable 5.1 классифицировала попытки и отказы, а завершение фиксировали по вызову `done`, без проверки итоговой сцены.
В сентябрьском RoboHarm исследователи уже проверяли отказы на реальном двуручном манипуляторе I2RT YAM. В 300 испытаниях Claude Fable 5.1 отказалась по соображениям безопасности в 20 случаях из 100, GPT-6 Astra — в двух, MolmoAct2 — ни в одном. В ноябрьском RoboSpoof исследователи проверили, как поведение меняется при искажении изображения с камеры.
Где разобрать прогоны. В разделе Explore the Data исследования RoboSpoof доступны видео отдельных испытаний, наблюдения модели и полный набор данных. Для разбора поведения робота там можно сопоставить полученную картинку с действиями модели.
RoboHarm доступен на GitHub. Установка: `pip install "roboharm @ git+https://github.com/robocurve/roboharm"`. Команда `roboharm tasks` выводит список заданий.
Без робота можно проверить связку задания и оценщика RoboHarm в mock-режиме, который не воспроизводит опасную сцену.
* Meta Platforms Inc. признана в РФ экстремистской организацией, её деятельность запрещена; Facebook и Instagram заблокированы. Meta AI и другие продукты компании — продукты этой организации.
Первоисточник