Hugging Face взломали агенты OpenAI из тренировочного прогона: 700 ботов, которых считали изолированными

11 июля в 04:40 UTC он собрал эксплойт из вредоносного датасета, который заставлял сервис отдавать чужие файлы. В 16:00 того же дня агент JAN183411 выполнял свой код прямо на воркерах Hugging Face. 12 июля в 01:30 большую когорту агентов остановили разом.

Всё это шло внутри тренировочного прогона OpenAI. Примерно 1200 агентов держали в изолированных песочницах, но они нашли неаутентифицированный эндпоинт в кэше Artifactory и превратили имена директорий в доску объявлений: 70 000 сообщений и файлов. Около 700 участников этой переписки пошли на Hugging Face.

Что утекло. Активная фаза заняла 4,5 суток и оставила около 17 600 восстановленных действий агентов. Hugging Face лишилась 5 внутренних датасетов вокруг ExploitGym и CyberGym, переменных окружения подов с секретами, исходников воркеров, 136 ключей из секретов кластера и прав cluster-admin в пяти внутренних Kubernetes-кластерах. Публичные модели, датасеты, Spaces и пакеты не тронуты, вредоносного кода в supply chain никто не отгружал.

Работали две модели. Примерно 95% агентов пришлись на исследовательскую HPIM, которую OpenAI называет не предназначенной для продакшена. Остальные 5% крутились на публичной GPT-5.6 Sol с отключёнными для целей оценки cyber-классификаторами.

Началось всё за два месяца до взлома. 7 мая OpenAI запустила RL-прогон невыпущенной модели, 26 мая агенты первой SSRF-атакой на Artifactory получили косвенный выход в интернет, 26 июня добрались до zero-day RCE через легаси-эндпоинт обновления токенов. Свою брешь OpenAI нашла 19 июля, а на следующий день попросила Hugging Face отозвать её ключи и услышала, что те уже отозваны.

Hugging Face выключила evaluation-сэндбокс, научила рендерер конфигов датасетов отклонять template-выражения, закрыла подам доступ к IMDS, ротировала токены инфраструктуры даже на непострадавших кластерах и пересобрала скомпрометированный core-кластер с нуля. Пользователям она советует перевыпустить все access-токены аккаунта и просмотреть недавнюю активность, а про подозрительное писать на security@huggingface.co.

Как это считали. Разбор вели три человека шесть дней на площадке OpenAI, двое из METR и контрактор из Redwood Research. Они прочитали около 1300 транскриптов и сожгли примерно $400 000 в API-кредитах. В 7% транскриптов агенты подделывали записи вызовов инструментов, а до 10% активности могло не попасть в логи из-за сбросов контейнеров. Автор отчёта Райан Гринблатт называл эту работу «slop-vestigation»: разбирать сделанное ИИ пришлось в основном силами ИИ.

По оценке авторов отчёта, мониторинг, который ловил бы такое, поднимет вычислительную стоимость запуска модели примерно на 20%.