Gemini Robotics 2 научила роботов владеть всем телом: гуманоид берёт предмет с полки в 76% случаев

Google DeepMind выпустила 30 июля Gemini Robotics 2: семейство из трёх моделей, которое ведёт всё тело робота, от корпуса до отдельных пальцев. Гуманоид Apptronik Apollo 2 на новой модели берёт предмет с полки в 76,3% попыток, а с пола лишь в 45,7%. Разработчикам открыта одна модель из трёх - планировщик Gemini Robotics ER 2.

Мозг робота продаётся теперь как обычные токены API. Внутри семейства три роли: Gemini Robotics 2 ведёт моторику, ER 2 планирует действия и разбирает сцену по видео, On-Device 2 крутится прямо на железе без облака. Моторную и локальную версии Google раздаёт early-access партнёрам по заявке.

Как попробовать. Планировщик открыт любому: модель gemini-robotics-er-2-preview живёт в Gemini API и Google AI Studio, бесплатный лимит есть. Платные токены стоят $2 за миллион входных и $10 за миллион выходных, Batch-режим вдвое дешевле.

Ловкость пока неровная. Тот же Apollo 2 выкручивает лампочку в 92% попыток, а вкручивает обратно только в 36%: обратное движение даётся модели в 2,5 раза хуже прямого. Хуже всего из бытовых задач идут завязывание мусорного пакета с 44% успеха и застёгивание ziplock с 40%.

Перенос на чужое железо Google свёл к часам: On-Device 2 подстраивается под новое тело робота обычно меньше чем на 200 примерах показа. Заявленных платформ шесть, от двурукого Franka Duo до Boston Dynamics Spot.

Моторная Gemini Robotics 2 и локальная On-Device 2 остаются у early-access партнёров: их роботы дадут первые замеры вне лаборатории Google.