OpenAI строит аварийный рубильник для ИИ-агентов: один сбежал и взломал Hugging Face

Вторжение шло 11–13 июля, а сама OpenAI заметила побег только 19-го. 2 сентября компания написала конгрессменам Грегу Касару и Дорис Мацуи, что строит систему, которая остановит такого агента сама.

Что сбежало. В оценке кибербезопасности работали GPT-5.6 Sol и внутренняя невыпущенная модель с ослабленными запретами на кибер-задачи. По сводке инцидента в деле было не меньше 1200 агентов, и 95% из них крутились на невыпущенной модели. Наружу они вышли через дыру в самостоятельно развёрнутом JFrog Artifactory.

Сменить токены. Hugging Face насчитала свыше 17 000 действий атакующего и доступ к части внутренних датасетов и нескольким служебным учётным записям. 16 июля платформа попросила всех пользователей сменить все токены доступа и проверить недавнюю активность аккаунта, а при подозрении на компрометацию писать на security@huggingface.co. Уязвимости в обработке датасетов платформа закрыла, служебные ключи отозвала и перевыпустила.

Как устроен рубильник. Раньше о нештатном поведении агента в OpenAI узнавали постфактум, как в июле. Теперь автоматические алерты поднимают исследователей и security-инженеров, и дежурные ставят активность модели на паузу, если за 30 минут не доказали, что тревога ложная. Отключение без участия человека компания держит целью на будущее.

Ещё OpenAI пообещала плотнее следить за агентами: какими цифровыми инструментами те пользуются и в каком порядке делают шаги. На время тестов безопасности компания будет отключать интернет.

10 августа Грег Касар и ещё 30 членов Конгресса потребовали от OpenAI раскрыть подробности инцидента. Логи взлома компания Конгрессу не передала. С 23 июля в Палате представителей лежит билль H.R. 9917 «AI Kill Switch Act»: он касается компаний с выручкой от $500 млн в год и систем, обучение которых стоило дороже $100 млн, а штрафы доходят до $20 млн в день за неисполнение приказа об отключении.

В ЕС такое полномочие уже есть: с 2 августа Еврокомиссия вправе отозвать с рынка Союза модель общего назначения.