Ссылка под ответом Perplexity не доказывает число: 34,7% проверку не прошли

Haus Research задала Perplexity 310 вопросов про 210 технологических компаний и проверила каждую ссылку под ответом. Из 1826 ссылок, прикреплённых к предложению с числом, 34,7% вели на страницу, которая либо не открылась, либо не содержала ни одной цифры из этого предложения.

Битые ссылки ни при чём. Мёртвыми оказались 1,3% адресов. Ломается другое: страница закрыта пейволлом или просто не та. Из открывшихся страниц 16,1% не содержали чисел процитированного утверждения.

Если считать не по ссылкам, а по утверждениям, картина мягче: из 872 утверждений с числами не подтвердились 14,4%. Проверка смыслом, а не совпадением цифр, даёт ещё меньше. LLM-судья на выборке 400 пар насчитал 40,0% поддержанных утверждений против 65,9% при механическом сличении.

Платный тариф не спасает. sonar прошла проверку в 65,9% случаев, sonar-pro в 64,7%. Разница статистически незначима.

Точность зависит от того, что спрашивают. Пройденные проверки по типу вопроса:

- имя CEO — 44,3% - штаб-квартира — 53,0% - начальная цена — 62,6% - год основания — 75,0% - численность сотрудников — 82,0%

Вопросы задавали 2 сентября 2026 года через API OpenRouter, на английском и только про технологические компании. В потребительском приложении Perplexity замер не проводился.

Замер повторяем: датасет с вопросами, ссылками и вердиктами выложен под лицензией CC BY 4.0, скрипты сбора опубликованы в порядке запуска. Понадобятся свой ключ OpenRouter и доступ к прокси — в репозитории их нет.

Данные и скрипты открыты, так что повторить замер и сравнить с 2 сентября может кто угодно.