Врач рядом с ИИ мешает диагнозу: GPT-4 в одиночку дал 92% против 76% в паре

Четверо авторов JAMA поднимают этот замер до правила: там, где ИИ уже обходит человека, обязательная последняя подпись врача портит результат.

Человек в петле мешает. Мета-анализ 2024 года показал, что в таких задачах связка человек плюс ИИ работает хуже чистого ИИ. На реальных случаях GPT-4 в одиночку дал 92% по диагностическому рассуждению против 76% в паре с врачом.

Цифры пришли из бенчмарка CPC-Bench, собранного на 7102 разборах NEJM с 1923 года. Тамошний агент Dr. CaBot дал 69% на 72 нераспознанных случаях, а в слепом сравнении врачи не отличили его разбор от врачебного в 46 попытках из 62.

Не только диагноз. Диагностический оркестратор Microsoft доходил до верного ответа в 4 раза чаще врачей и дешевле: $2396 против $2963 на случай. Google AMIE выявлял жалобы пациента в 97% случаев против 50% у врачей.

CPC-Bench и Dr. CaBot выложены публично, лидерборд открыт на cpcbench.com по логину.

Раньше ИИ в клинике держали помощником, и AMA с American College of Physicians до сих пор стоят на поддерживающей роли. Теперь авторы статьи предлагают не закреплять законом обязательное последнее слово врача: по их расчёту, такое правило зацементирует уже отставшую модель помощи.

Роберт Вахтер из UCSF отвечает, что врач с ИИ останется «первым классом» медицины, а чистый ИИ достанется «эконом-классу» пациентов.

Авторы называют срок: к 2030 году автономный ИИ, по их прогнозу, будет готов к части клинических сценариев.