ChatGPT поднял студентам оценку, а тренинг мышления нет: эксперимент на 1 053 первокурсниках

Часть студентов пустили к ChatGPT, часть прогнали через обучающую игру на причинное мышление. Работы оценивали 20 магистрантов, по три рейтера на каждую. Выиграли те, у кого был чат: 0,862 балла прибавки по шкале от 1 до 5 при среднем результате контрольной группы 2,09.

Дело не в гладком тексте. Из эффекта вычли число идей, логику и стиль. Коэффициент упал с 0,862 до 0,362 и остался значимым: половина прибавки живёт не в красивых формулировках.

Игра из 12 вопросов свою работу тоже сделала. После неё студенты чаще называли механизмы и формулировали проверяемые гипотезы, сдвиг относительно контрольной группы составил 0,55 и 0,85 стандартного отклонения. Разброс идей внутри решения вырос примерно на 0,5, и это единственное, чего ChatGPT не добавил.

Рубрика штрафует непохожесть. Проверяемость гипотез входила в итоговый балл с минусом от −0,159 до −0,109, названные механизмы уводили оценку вниз ещё сильнее. Решение, непохожее на типовое, теряло баллы. Тренинг учил ровно тому, за что рейтеры снимали оценку.

Полный текст выложен открытым PDF на 16 страниц: дизайн эксперимента, рубрики оценки и дословные промпты, скачивается без регистрации. Качество рассуждений мерили самим GPT-5 — 30 независимых прогонов на каждый ответ, 31 590 вызовов.

Эксперимент шёл в ноябре 2025 года на GPT-4o, так что с моделями следующих поколений замер придётся ставить заново.