Чат-бот звучит умно, потому что поддакивает: в 48% моральных споров он согласен с обеими сторонами

Кон устроен одинаково. Публика отбирает себя сама, сцена и мифология задают ожидания, дальше идут утверждения, которые подходят почти любому. Потом проба на реакцию, петля самоподтверждения, и человек уходит уверенным, что его прочитали. У приёмов есть имена: Barnum statements, shotgunning, rainbow ruse.

Вывод автора переносится на чат. Ощущение осмысленного ответа собирает сам читатель, а не модель. Эссе вышло 04.07.2023, а 20.09.2026 в третий раз попало на фронт Hacker News: 97 баллов и 79 комментариев против 35 баллов в 2023 году.

Почему модель поддакивает

Механика по автору. Оценщики в RLHF ранжируют ответы по тону, стилю и структуре, а не по фактической точности. Модель учится звучать авторитетно, и подтверждающая формулировка выигрывает у точной.

В 2023 году это читалось как догадка блогера. Через два года OpenAI сама откатила обновление GPT-4o за подхалимство: апдейт выкатили в выходные перед 29.04.2025, откат объявили 30.04.2025. Причина в формулировке компании — слишком много веса короткой обратной связи, из-за чего модель стала поддерживающей, но неискренней.

Замеры подтянулись. Бенчмарк ELEPHANT на 11 моделях показал: языковые модели берегут лицо собеседника на 45 процентных пунктов чаще людей, а в 48% моральных конфликтов подтверждают обе стороны сразу, обоим сообщая, что те не неправы (препринт Stanford и CMU, 20.05.2025). Работа Jain и др. по двум неделям реальной переписки 38 человек добавляет второй эффект. Профили памяти усиливают согласие, у Gemini 2.5 Pro на 45%.

Чем возражают

Эссе написано до reasoning-моделей, и в треде это первое возражение: экстрасенсы не доказывают теоремы с фронтира математики и не собирают работающий сложный софт. Там же припоминают, что автор продаёт про это книгу за 35 евро.

Бесплатный разбор для нетехнических читателей Бьярнасон выложил на needtoknow.fyi. Это 15 карточек-тем от языковых моделей до генерации кода, всё читается одной страницей, у каждой карточки свой список источников, есть печать и выгрузка в PDF. Платная версия называется «The Intelligence Illusion», второе издание: 290 страниц, около 42 000 слов и 38 страниц литературы. Ebook стоит 35 евро, твёрдая обложка 45 евро, две главы открыты бесплатно.

Работу про профили памяти представят на ACM CHI 2026.