Ассистивная робототехника Питтсбурга взяла зрение готовым: в основе - открытые SAM и DINO от Meta

Meta 27 июля показала кейс: Университет Питтсбурга строит ассистивных роботов на её открытых моделях зрения SAM и DINO. SAM выделяет объекты на кадре, DINO даёт признаки без ручной разметки. Цель проекта - вернуть человеку самостоятельность в бытовых действиях.

Почему это важно: Раньше лаборатория ассистивной робототехники тянула зрение сама: снять кадры, разметить, дообучить под каждый новый предмет на столе. Теперь база зрения приезжает открытыми весами, а силы лаборатории уходят на захват и сценарии помощи. Meta в этом кейсе продаёт не робота, а свой стек зрения в чужих руках. Ни метрик, ни процента успешных захватов, ни сроков в посте нет.

Что дальше: Прогнать SAM и DINO на своих кадрах загромождённой сцены и посмотреть, где сегментация разваливается. Сравнить с тем, на чём сейчас держится ваш пайплайн захвата.