Поиск по фото реже путает модели товаров: Яндекс читает картинку и текст страницы вместе

Поиск по картинкам Яндекса больше не верит подписям на слово. С 10 августа алгоритм оценивает фотографию и текст страницы одновременно, а не по отдельности. На снимке одна модель смартфона, в описании названа другая - система теперь чаще выбирает то, что видит.

Где это заметно. Промах в описании чаще всего случается там, где модели похожи: смартфоны, автомобили, диваны, одежда и бытовая техника. Раньше поиск шёл за текстом страницы и поднимал наверх снимок не той модели. Теперь картинка спорит с описанием на равных.

Включать нечего. Обновление уже раскатано на yandex.ru/images. Ищешь по фото как раньше, отдельного режима и новой версии приложения не появилось.

Чтобы совместный разбор не тормозил выдачу, Яндекс обучил одну большую мультимодальную модель, а потом собрал на её базе несколько компактных, каждая на своём этапе обработки. Самые тяжёлые вычисления идут заранее, поэтому ответ не стал медленнее.

По словам компании, релевантных картинок в верхней части выдачи стало заметно больше, а уточняющие запросы люди формулируют реже. Проценты Яндекс не называет.

Точность выдачи теперь держится на том, что на фотографии, а не на том, что написал владелец страницы.