Пересказ статьи от ИИ выдаёт себя за одну проверку: 4 вопроса по знакомой работе

25 июля автор сервиса-объяснялки для научных статей выложил свой тест на выдумки: 4 вопроса по статье, которую он уже знает наизусть - главный тезис одним предложением, точная страница, раздел, таблица или формула под ним, самое сильное ограничение из слов самих авторов и «не найдено», если подтверждения в PDF нет. Оценивает он это раньше качества текста, а таблицы и формулы гоняет отдельно: иногда ломается не модель, а извлечение из PDF.

Что дальше: Возьмите статью, которую знаете наизусть, и прогоните по ней те же 4 вопроса на своём пайплайне: если модель ни разу не ответила «не найдено», гоняйте таблицы и формулы отдельным прогоном.