Поиск по фото реже путает модели товаров: Яндекс читает картинку и текст страницы вместе

На снимке одна модель смартфона, в описании названа другая - система теперь чаще выбирает то, что видит.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Где это заметно. Промах в описании чаще всего случается там, где модели похожи: смартфоны, автомобили, диваны, одежда и бытовая техника. Раньше поиск шёл за текстом страницы и поднимал наверх снимок не той модели. Теперь картинка спорит с описанием на равных.

Включать нечего. Обновление уже раскатано на yandex.ru/images. Ищете по фото как раньше, отдельного режима и новой версии приложения не появилось.

Чтобы совместный разбор не тормозил выдачу, Яндекс обучил одну большую мультимодальную модель, а потом собрал на её базе несколько компактных, каждая на своём этапе обработки. Самые тяжёлые вычисления идут заранее, поэтому ответ не стал медленнее.

По словам компании, релевантных картинок в верхней части выдачи стало заметно больше, а уточняющие запросы люди формулируют реже. Проценты Яндекс не называет.

Точность выдачи теперь держится на том, что на фотографии, а не на том, что написал владелец страницы.