Проверка AI-пересказов научных статей: спрашивать страницу и таблицу под каждым утверждением

Автор пересказчика статей просит у модели четыре вещи: главный тезис одним предложением, точную страницу или таблицу под ним, самое сильное ограничение из слов авторов и ответ «не найдено», если доказательства нет. Проверка идёт на статье, которую он уже знает наизусть. Оценка выставляется до чтения прозы: качество текста смотрится последним.

Почему это важно: Обычная проверка пересказа выглядит так: читаешь, звучит складно, принимаешь. Здесь порядок обратный: сначала трассировка каждого утверждения к PDF, потом стиль. Отдельный ход - таблицы и уравнения гоняются отдельным тестом, потому что ломается часто не модель, а извлечение текста из PDF. Автор сам называет это не бенчмарком: способ быстро ловить уверенную чушь, не более.

Что дальше: Взять статью, которую знаете до таблиц, и прогнать через свой пайплайн те же четыре запроса. Отдельно проверить, что вернулось из таблиц и формул: если там каша, чинить парсер PDF, а не промпт.