Верный ответ модели ещё не доказывает рассуждение: разбор Quanta от 31.07 в топе Hacker News

Верный ответ модели может приходить не из тех шагов, которые она показала. Этот вопрос Quanta Magazine вынесла в заголовок 31 июля: правильно ли рассуждает ИИ или оказывается прав по неправильным причинам. В тот же день материал попал на главную Hacker News.

Раньше проверка выглядела просто. Модель решила задачу - значит, справилась с рассуждением, а видимая цепочка шагов сходила за объяснение. Вопрос Quanta ломает эту связку: совпадение ответа ничего не говорит о пути к нему. Для инженера это разница между «работает» и «понятно, почему работает».

Дальше спор упирается в замеры: пока рассуждение не меряют отдельно от ответа, он останется словесным.