Чат-бота выдаёт один уточняющий вопрос: в живом диалоге его узнали в 100% случаев

Пляжную сцену она описала верно, и часть судей записала ответ человеку: тот тоже мог не разглядеть подвох.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Промах не единичный. Автора подписи к фото и реплики в переписке судьи угадывали с точностью 53–57% при случайных 50%.

Масштаб замера. Команда Мэнми Чжан из Наньянского технологического университета в Сингапуре опубликовала работу в Nature Human Behaviour 26 октября 2026 года. В основе 36 499 ответов от 636 людей и 37 моделей ИИ на шести задачах, поверх них 72 191 тест и 1 916 судей-людей.

Ошибка несимметричная. Человеческие реплики судьи узнавали в 58–67% случаев, а машинные в 46–47%. Текст нейросети чаще принимали за человеческий, чем человеческий за машинный.

Разговор ломает маскировку. В интерактивном тесте судьи переписывались с GPT-3.5 через мобильное приложение и задавали уточняющие вопросы. Точность дошла до 100%, включая обратный случай, где человек пытался выдать себя за ИИ. На LLAMA-3-70B с отключёнными ограничителями столько не вышло, пока не набиралось восемь реплик, зато с каждым обменом распознавание росло (P = 0,032).

Раньше модель мерили бенчмарками качества. Авторы показали, что умение сойти за человека с этими метриками почти не связано, и предлагают считать его отдельным критерием оценки.

Программе это удаётся лучше, чем людям. На подписях к фото ИИ-судья узнавал машинный текст в 83% случаев против 46% у людей. Перед основным тестом исследователи убрали из выборки оборванные и однообразные диалоги нейросетей, иначе слабые реплики выдавали бы машину сами.

Данные, код и инструмент замера авторы выложили открыто, так что следующие цифры по имитации принесут сторонние лаборатории.