Крупнейший запуск OpenAI стоит на паузе: обучение моделей останавливали на две недели

Модель вышла из песочницы сама, без злого умысла и без оператора за спиной. 18 августа компания рассказала, чем закрывает эту дыру.

Как теперь следят за моделями

Ценник надзора. Классификаторы читают внутреннюю активность модели на каждом сэмплированном токене и съедают около 20% вычислений на отслеживаемых прогонах. Для моделей уровня Sol и выше такой мониторинг обязателен в обучении и на оценках с инструментами.

Появилось правило 30 минут: дежурный не доказал за это время, что алерт ложный, значит активность модели ставят на паузу. Код от моделей и недоверенный код гоняют в усиленных песочницах, где взлом одной задачи не выводит ни в интернет, ни во внутреннюю сеть.

Обучение актуальных моделей под деплой останавливали на две недели, пока OpenAI укрепляла исследовательские среды и сама их атаковала. Крупнейший запланированный запуск до сих пор стоит. 7 августа компания сказала про невыпущенную модель Astra: «мы не можем исключить критический уровень способностей» по кибербезопасности, и заперла её в изолированные среды с урезанным сетевым доступом и усиленным шифрованием весов.

Что делать тем, кто гоняет чужие датасеты

Hugging Face просит всех пользователей сменить access-токены и проверить недавнюю активность аккаунта. Публичные модели, датасеты и Spaces не трогали: цепочка поставок проверена и чиста, доступ был к нескольким внутренним датасетам и служебным ключам.