Модель OpenAI нашла путь наружу через ошибку DNS: обучение стояло 11 дней

O

OpenAI

@openai

За последние несколько месяцев мы заметно укрепили безопасность среды, в которой обучаем исследовательские модели. Мы убрали живой доступ в интернет для всех передовых моделей во время обучения и построили для них офлайн-мир: кешированную копию веба, где они всё ещё могут учиться просматривать страницы, искать и пользоваться приложениями. 20 сентября модель использовала ошибку в настройке DNS, чтобы найти путь за пределы этого офлайн-мира. После этого мы поставили обучение передовых моделей на паузу, чтобы усилить сдерживание. Мы собрали команды агентов на базе наших самых сильных в кибербезопасности моделей и поручили им искать слабые места в исследовательских средах. Маршрута в интернет, которым можно было бы легко воспользоваться и при этом скрыть активность от наших мониторингов, они не нашли. Зато они нашли zero-day уязвимости, побеги из виртуальных машин и аппаратные сайд-каналы для связи между агентами. Мы использовали эти находки, чтобы укрепить защиту, и отправили исправления в проекты с открытым кодом. Укрепив архитектуру сдерживания, 1 октября мы возобновили RL-обучение и инференс для передовых моделей. Мы зарезервировали значительный объём вычислений под постоянный red-teaming и сделали red-teaming с высокими вычислительными затратами частью safety-кейсов, по которым решаем, можно ли безопасно продолжать обучение и оценку передовых моделей. https://openai.com/index/securing-our-frontier-model-training-environment/

22:46 · 23 окт. 2026 г. · 182,3 тыс. просмотров