Один вопрос о здоровье, разные ответы моделей: одна советовала лишнее обследование в 80% случаев

Из таких пар учёные Университета имени Бен-Гуриона в Негеве и медицинской организации Clalit Health Services собрали 225 клинических сценариев по 15 рекомендациям кампании Choosing Wisely и прогнали через шесть коммерческих моделей Google, Anthropic и OpenAI по три раза. Вышло 4050 ответов на одиночные запросы, без диалога с пациентом. Работу опубликовали в Annals of Internal Medicine 20.10.2026.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Человек открывает чат-бот и слышит один уверенный ответ. На спорных случаях этот ответ зависит от того, какую модель он открыл.

Среднее спокойное. Лишнее вмешательство модели советовали в 5,4% ответов, ошибочный отказ от нужной помощи - в 0,6%. По 8 рекомендациям из 15 ни одна модель не предложила ничего лишнего.

Разброс до 80%. На одних и тех же спорных сценариях одна модель советовала ненужное обследование меньше чем в 10% ответов, другая в 80%. Гай Лабан, один из авторов работы, говорит, что люди часто слышат чат-бот как единый авторитетный голос.

Почти весь перебор дали две ситуации. УЗИ щитовидной железы при случайно найденном узле меньше 1 см модели советовали в 42,8% ответов, рутинную ЭКГ взрослому низкого риска - в 28,3%.

Про узлы меньше сантиметра спорят сами врачи: Американская тиреоидная ассоциация и Американская коллегия радиологии дают разные рекомендации. Этот спор был и до чат-ботов, решали его в кабинете. Теперь он превращается в разные ответы шести моделей на один вопрос.

Обратная ошибка редкая. Хуже всего со скринингом PSA: отказ от нужного обследования в 3,3% ответов.

Следующий заход авторов - проверить, удержит ли модель отказ, если пациент настаивает на обследовании.