Жесты набирают текст прямо в клавиатуре: SL2T переводит ASL в Gboard на Pixel 11

12 августа Google включила модель SL2T 1.0 в клавиатуру Gboard и в приложение Live Transcribe на Pixel 11, платить за это не нужно. Жестовыми языками в мире общаются 70 млн человек.

Раньше и теперь. Прежние переводчики жестов сначала переводили видео в промежуточные аннотации-глоссы, а уже из них собирали фразу. SL2T переводит последовательность жестов сразу в текст и читает заодно движения головы, лица и корпуса: глоссы, по формулировке DeepMind, теряют мимику и пространственные конструкции жестовой речи.

Чем меряли. Модель училась на 100 тысячах часов записей жестовой речи на 50+ жестовых языках, около четверти материала - ASL. На бенчмарке FLEURS-ASL она без дообучения выдала 70 BLEURT, выше всех опубликованных до неё результатов.

В клавиатуре функция включается значком Sign-to-text на панели инструментов или через Menu → Sign-to-text. Значка нет - зайди в Menu → Edit, перетащи его на панель, пройди обучающий экран и нажми Next.

В Live Transcribe жестовый ввод поднимает кнопка Sign-to-text в правом нижнем углу. Телефон ставят так, чтобы фронтальная камера видела руки и лицо: модель понимает одноручные и двуручные жесты и пальцевую азбуку, отдельно её натаскали на левшей и на жестикуляцию одной рукой, когда вторая занята телефоном.

Кому это доступно. На старте работает одна пара: американский жестовый в английский. Нужен Pixel 11 с Android 8 или новее, свежая версия Gboard и язык ввода en-US либо en-CA, и открыли функцию не во всех странах. Позу распознаёт сам телефон через MediaPipe Holistic, на сервер уходят только координаты точек, а не видео, поэтому без интернета перевода не будет.