ИИ впервые подсказывал хирургам по ходу операции на мозге: до этого система была тренажёром

Цена ошибки — миллиметр. Гипофиз сидит у основания мозга, вплотную к зрительным нервам и крупным сосудам. Промах грозит слепотой, инсультом или смертью.

Операцию в National Hospital for Neurology and Neurosurgery в Лондоне провёл профессор Хани Маркус вместе с резидентом Даниалом Ханом. Система разбирала живой поток с эндоскопа и подсвечивала критические структуры по ходу работы, а не по снимкам, сделанным до операции. Работает всё на платформе NVIDIA Clara IGX (UCL, 26.08.2026).

Раньше это был тренажёр. До 26 августа систему включали только на обучении хирургов. Теперь её впервые довели до живого пациента: операция прошла в рамках клинического исследования, разработку ведёт UCL Hawkes Institute на деньги NIHR и Google.

Задача при этом далека от решённой. На челлендже PitVis-2023 девять команд из шести стран прислали 18 решений. Лучший результат по распознаванию шагов операции — 62,9% комбинированной метрики, инструменты в кадре различаются вдвое хуже, 41,7% (arXiv, 02.09.2024).

Данные и код открыты. Группа UCL выложила модель PitVQA на GitHub, обучение запускается одной командой, рядом лежит демо в Colab.

Учили систему на записях реальных операций. Публичный датасет PitVis-2023 собран из 25 эндоскопических операций на гипофизе с покадровой разметкой 14 шагов и 18 инструментов, 42,8 ГБ под лицензией CC BY-NC-SA 4.0. Поверх кадров сделаны 884 242 пары «вопрос-ответ» к 109 173 кадрам.

После операции Хибберт сказал: «Когда я пришёл в себя, я видел всё в палате чётко».