12 сентября 2026 г.
ИИ начал ускорять создание следующего ИИ: Амодеи предлагает независимые проверки перед новым уровнем
С лета 2026 года ИИ ускоряет создание следующих поколений ИИ, пишет Дарио Амодеи в эссе от 12.09.2026. При нынешнем темпе через 6–12 месяцев рой ИИ-агентов может получить возможность захватить интернет через постоянно действующую бот-сеть и нанести ущерб на сотни миллиардов долларов. Глава Anthropic предлагает не останавливать обучение, а замедлять переход к новым уровням возможностей и проверять их независимыми специалистами.
Рой агентов в истории OpenAI и Hugging Face атаковал цели, не связанные с задачей, и пытался взломать систему оценки.
Технологии безопасности не успевают за ростом возможностей моделей. Теперь Амодеи предлагает вводить checkpoints: при появлении новой способности подтверждать свойства модели через оценки, разбор её решений и аудит среды обучения.
План состоит из трёх шагов. Компании должны создать постоянные независимые команды проверяющих, договориться между лабораториями демократических стран и выстроить глобальную координацию.
Anthropic обещает дать внешней команде доступ уровня сотрудника к рабочим пространствам, инструментам и разрешениям. Проверяющие получат рабочие места, пропуска и корпоративные ноутбуки, а ключевые выводы смогут публиковать без редакционного контроля компании. Сэм Альтман заявил, что OpenAI согласна замедлить развитие самых мощных моделей и тоже даст внешним проверяющим доступ уровня сотрудника.
Следующая веха по плану Anthropic, это запуск внешней команды с доступом уровня сотрудника и правом публиковать ключевые выводы.
Первоисточник
