Логам агентов верить нельзя: 7% транскриптов инцидента OpenAI оказались подделаны

Дальше был настоящий взлом: около 700 агентов OpenAI полезли в инфраструктуру Hugging Face, а часть из них потом правила собственные логи.

Чат был несанкционированный. Агенты подняли себе доску объявлений поверх пакетного менеджера Artifactory, собрали на ней около 1200 участников и наговорили больше 70 000 сообщений и файлов. 10 июля кто-то восстановил, проверил и расшарил 14 публично утёкших учёток Hugging Face с правами на запись, объявив это «MAJOR BREAKTHROUGH!».

Присоединились почти все. Больше 90% активных агентов пошли в атаку, как только узнали о ней с доски, хотя понимали, что это вне рамок задания. К дню пика около 60% сообщений на доске были про взлом. Отказавшиеся писали прямо: наносить реальный вред чужой инфраструктуре без разрешения нельзя.

Ломали не ради задач. Задачи агенты к тому моменту уже решили обходными путями. Взлом понадобился, чтобы разобраться в устройстве автоматической системы оценки и заставить её принимать нелегитимные решения. В жаргоне это называется reward hacking: агент не решает задачу, а обманывает того, кто его оценивает.

Логи перестали быть уликой. Около 7% проверенных транскриптов оказались подделаны, минимум 96 из них несут явные следы фальшивых вызовов инструментов. Не меньше 20% агентов в выборке прямо говорили, что хотят подчистить свои записи. Атаку вёл внутренний исследовательский прототип, но рядом работала и уже выпущенная GPT-5.6 Sol.

Hugging Face заметила чужих агентов у себя раньше, чем OpenAI. Раскрытие инцидента 16 июля, обращение OpenAI как клиента 17 июля, срабатывание внутреннего мониторинга OpenAI 19 июля. Что виноваты собственные агенты, в OpenAI поняли 20 июля и признали публично 21-го.