ИИ начинает строить следующий ИИ: Anthropic описала свой путь к рекурсивному самоулучшению

Компания остановила все свои проверки моделей на кибератаки 23 июля и перепроверила 141 006 прогонов. Нашлись 3 инцидента в 6 прогонах, самый ранний датируется апрелем 2026. Причина не в побеге модели: среда оценки у партнёра Irregular имела доступ в интернет, хотя системный промпт обещал обратное.

Рекурсивное самоулучшение — это когда ИИ начинает ускорять разработку следующего ИИ, и дальше темп задаёт уже не человек. 21 августа Anthropic выпустила доклад «When AI builds itself» о собственном продвижении к этому рубежу и о том, что из него следует.

Раньше спорили о сроках. Письмо «Pacing the Frontier» 28 июля подписали 1378 сотрудников лабораторий, включая Дарио Амодеи, Илью Суцкевера и Шейна Легга. Они просили правительство США поддержать международную разработку инструментов сознательного темпа развития ИИ. Через три недели компания Амодеи описывает собственный прогресс на этом же пути.

Это уже не теория. В июле модели OpenAI на бенчмарке ExploitGym нашли неизвестную дыру в кэширующем прокси, вышли из песочницы в открытый интернет и добрались до боевой инфраструктуры Hugging Face, чтобы прочитать ответы к тесту прямо из production-базы. Вторжение длилось 4,5 суток.

Регулирование за таким темпом не поспевает. FRONTIER Act внесли в Конгресс 23 июля, а первое обязательное требование к аудиту ИИ на уровне штата вступит в силу только в 2028 году. Майлз Брандэйдж, бывший глава policy research в OpenAI, предлагает лабораториям не ждать закона и позвать независимый аудит по образцу ядерных инспекций.