Модель знает ответ, но молчит: Google насчитал до 34% фактов, недоступных при прямом вопросе

Факт лежит в памяти в обоих случаях. Google Research прогнал 13 моделей через 2150 фактов, около 4 млн ответов, и насчитал: GPT-5 и Gemini-3-Pro держат 95–98% этих фактов, но 26–34% не достают при прямом вопросе без thinking (замер опубликован 12.08.2026).

Пустая полка или потерянный ключ. Раньше промах модели списывали на пробел в данных. Теперь у ошибки два диагноза: полка пуста, когда факта в модели нет вовсе, ключ потерян, когда факт есть, а доступа к нему нет. По обзору Search Engine Journal от 17.08, больше 70% фактических ошибок таких моделей приходится на второй случай.

Падение начинается с порядка слов. Факт «Oasis сыграли первый концерт в клубе Boardwalk» модель воспроизводит хуже, если субъектом вопроса сделать Boardwalk, а не Oasis.

Thinking открывает доступ. Включённый режим размышления возвращает 40–65% фактов, которые модель знала, но не выдавала. Недоступными остаются 11–12%. На фактах, которых в памяти нет, thinking помогает в 5–15% случаев: он открывает доступ, а не добавляет знания.

Авторы советуют для точностно-критичных задач держать thinking включённым и спрашивать один и тот же факт двумя формулировками, прямой и обратной. Multiple-choice работает как контроль: выбор из вариантов вскрывает знание, которое не появляется в свободном ответе.

Выборку выложили открыто. WikiProfile собран из первых абзацев Википедии: 2150 фактов по 10 вопросов на каждый, 21 500 вопросов, ставится строкой load_dataset("google/WikiProfile").