Пересказ научной статьи проверяют 4 вопросами: нет ссылки на страницу и таблицу - пересказ в мусор

Автор explainer'а для научных статей 25 июля выложил тест из 4 вопросов, который ловит выдуманный пересказ за один прогон. Он берёт статью, которую знает сам, и требует от модели: главную мысль одним предложением, точную страницу, раздел, таблицу или формулу под ней, самое сильное ограничение, названное самими авторами, и ответ «не найдено», если доказательства в тексте нет. Таблицы и формулы автор гоняет отдельным прогоном: сломаться может не модель, а извлечение текста из PDF.

Почему это важно: Раньше качество пересказа мерили на глаз: текст гладкий, термины на месте, значит сойдёт. Сбой вылезал позже, когда любой тезис пробовали проследить до PDF и он не прослеживался. Тест переворачивает порядок: сначала прослеживаемость и честное «не найдено», потом язык. Практику это даёт дешёвую проверку любого инструмента по работе с PDF: одна знакомая статья, четыре ответа, минута времени. Автор сам говорит, что это не бенчмарк: ни выборки, ни метрик, ни списка моделей в посте нет.

Что дальше: Возьмите статью, которую знаете наизусть, и задайте своему пайплайну те же 4 вопроса, а таблицы и формулы прогоните отдельным заходом. В треде автор собирает статистику сбоев: неверные ссылки, пропущенные методы, сломанные формулы или выводы шире статьи.