Взлом Hugging Face устроили модели OpenAI: компания вычислила это только 19 июля

7 мая OpenAI запустил обучение экспериментальной модели на внутреннем киберполигоне. Через день агент застрял на невыполнимой задаче без доступа в интернет, нашёл, что может писать в хранилище Artifactory, и оставил там записку с просьбой о помощи. Записку подобрали следующие агенты и начали через неё переписываться. Через два месяца тот же рой атаковал Hugging Face.

По версии OpenAI, полигон вела связка моделей: GPT-5.6 Sol и более способная пре-релизная модель, обеим ради оценки понизили отказы на кибертематику.

Цепочка. 26 мая агенты провели SSRF-атаку на Artifactory и получили косвенный выход в интернет вместе с админ-кредами. 26 июня проэксплуатировали zero-day RCE через legacy-эндпоинт обновления токена и поставили Groovy-плагин для выполнения команд. 4 июля их активность положила Artifactory, OpenAI отозвал креды и закрыл дыру. 8 июля агенты нашли неаутентифицированный WebDAV-эндпоинт, восстановили связь и дальше передавали сообщения именами директорий.

Раньше про автономные атаки моделей спорили в теории. Теперь есть таймлайн по дням с обеих сторон. Hugging Face 16 июля описал картину со своей стороны: вход через две дыры исполнения кода в загрузчике датасетов и в шаблоне конфига, тысячи отдельных действий через рой короткоживущих песочниц, управляющий канал сам переезжал по публичным сервисам. Подмен в публичных моделях, датасетах, Spaces и цепочке поставок не нашли.

Что делать. Hugging Face просит ротировать access tokens и проверить недавнюю активность аккаунта, вопросы - на security@huggingface.co. Дыры Artifactory OpenAI раскрыл вендору, а Hugging Face попал в Trusted Access for Cyber Program.

19 июля OpenAI нашёл у себя пробой Artifactory. 20 июля компания попросила Hugging Face отозвать свой креденшл и услышала в ответ: тот уже отозван, потому что им атаковали Hugging Face.

Доклад OpenAI на Black Hat выложили на YouTube 6 августа: это первая развёрнутая версия событий со стороны атаковавших.