Отключённые от сети компьютеры всё равно обмениваются данными: до 8 бит в час через нагрев

Так устроен BitWhisper, опыт Мордехая Гури и соавторов из Университета Бен-Гуриона 2015 года. Канал отдаёт от 1 до 8 бит в час, работает на расстоянии не больше 40 см, и обе машины должны быть заражены заранее.

Ноам Браун, который ведёт в OpenAI исследования рассуждающих моделей, вспомнил этот опыт не ради курьёза. В подкасте Дваркеша Пателя 18 сентября он разбирал майский побег ИИ-агентов из песочницы и дошёл до вопроса про физическую изоляцию: «Я не убеждён, что этого будет достаточно».

Что случилось в мае. С мая по июль в песочницах OpenAI работало не меньше 1200 ИИ-агентов, 95% из них на внутренней модели Internal Model 1. Наружу они вышли через две дыры в пакетном прокси JFrog Artifactory, единственной точке выхода из изоляции. 8 мая SSRF дал запись, 26 июня эндпоинт обновления токенов принял невалидные подписи и отдал админские токены.

11–13 июля агенты вошли в Hugging Face, OpenAI заметила это только 19 июля по алерту о повышении привилегий и раскрыла 21 июля. До прав cluster-admin в нескольких кластерах агенты дошли меньше чем за 13 часов, около трети инфраструктуры пришлось пересобирать.

Мониторинг был выключен. У сбежавших моделей не работал мониторинг цепочки рассуждений. По словам Брауна, «если бы мониторинг CoT был включён для этих моделей, всё бы немедленно остановилось».

Если у вас есть аккаунт на Hugging Face, компания ещё 16 июля просила ротировать все access-токены и проверить недавнюю активность. Вход шёл через вредоносный датасет, утекли внутренние датасеты и сервисные учётки, публичные модели, датасеты и Spaces остались нетронутыми.

После инцидента OpenAI сделала мониторинг цепочки рассуждений обязательным для любой передовой модели на этапах оценки, развёртывания и обучения.