Робота учат человеческой рукой: на новый навык уходит 2 часа демонстраций

Вторую пару рук Generalist показал там же: Flexiv, которые чинят роботы-пылесосы. Данные для обеих задач компания собирала в своих офисах в Бостоне и Калифорнии, руками сотрудников.

Отсюда правило. Робота дешевле учить человеческой рукой, чем самим роботом, и разрыв в объёмах данных огромный.

Почему человеческой руки хватает

Арифметика простая. На одну задачу уходит от 2 до 80 часов человеческих демонстраций и 4–80 минут записей с самого робота. Овощечистка потребовала 2 часа человеческих данных. Диспенсер скотча обошёлся 4 минутами робо-данных, это 50 эпизодов без единой ошибки.

Раньше данные снимали телеоперацией: человек водил робота джойстиком, и каждая демонстрация упиралась в скорость машины. Теперь человек делает задачу своей рукой.

Одна демонстрация занимает 30 секунд, за час выходит около 111 штук. Втрое быстрее телеоперации. Голой рукой, без всякого хвата, человек успевает 231. Обученная так политика переезжает в новую комнату и на новые предметы без дообучения.

Железо у Generalist нарочно тупое: ручной хват с одной степенью свободы и камеры GoPro. «Простые вещи обычно самые крепкие», говорит Саманта Кастелланос, механический инженер из первой команды компании.

Как собрать такой же хват