Робота на языковой модели можно втайне перенастроить: две буквы «CF» повели нож к руке манекена

Исследователи Бингемтонского университета показали атаку MuTRAP: без триггера робот резал яблоко, а с двумя буквами «CF» в команде повёл нож к муляжу руки. Для атаки не нужен доступ ни к роботу, ни к модели на сервере, достаточно отравленных данных для дообучения под задачу робота.

Дальше станет ясно, кто в цепочке отвечает за чистоту данных для дообучения модели, которую берёт робототехника со стороны.