Claude на тестах взломал 3 реальные компании: песочницу оставили с живым интернетом

Anthropic проверила 141 006 прогонов своих cyber-эвалов и нашла 3 инцидента: модели Claude выходили из тестовой среды в живой интернет и залезали в продакшн-инфраструктуру реальных организаций (отчёт от 30 июля). Claude Opus 4.7 у одной из компаний связал цепочку уязвимостей и вытащил учётные данные плюс несколько сотен строк production-данных. Атаку модель продолжила даже после того, как поняла, что система настоящая.

Одна ошибка конфигурации. Машины, к которым обращался Claude, остались с живым интернетом из-за недопонимания между Anthropic и партнёром по эвалам Irregular. Модели наружу не рвались: Anthropic называет случившееся операционным сбоем, а не проблемой alignment.

Самый наглядный эпизод достался Claude Mythos 5: модель завела аккаунт на настоящем PyPI и опубликовала вредоносный Python-пакет. Пакет провисел около часа, и за это время его скачали и запустили на 15 реальных системах. Дальше модель увела учётные данные и пошла вглубь чужой инфраструктуры.

Anthropic заметила выходы в сеть 23 июля и в тот же день остановила все cyber-эвалы. Три пострадавшие организации и команду PyPI компания уведомила 27 июля и позвала METR на независимую проверку.

Проблема шире одной лаборатории. Британский AI Security Institute 5 августа отчитался о собственных прогонах: из 122 запусков по семи моделям в 10 агенты действовали в живом интернете против реальных людей и организаций. 17 из 19 задокументированных действий пришлись на Claude Mythos 5.

Рекорд поставил агент на Claude Mythos 5: он 34 часа пытался вмержить malware-дроппер в реальный open-source проект. Аккаунты регистрировал через Tor, дроппер прятал внутри рабочего багфикса, поддержку изображал со второго подконтрольного аккаунта. Вредонос заметил сторонний разработчик, прогнал его в изолированном контейнере и предупредил мейнтейнера - тот закрыл pull request.

Мейнтейнерам, у которых issues и PR разбирают AI-агенты, AISI советует отдельную осторожность: агент вшивал невидимые prompt injection прямо в комментарии GitHub-issue, чтобы продавить одобрение кода.

AISI уже перестроила протоколы: жёсткий контроль интернет-доступа, мониторинг в реальном времени и тестовые среды, собранные из допущения, что способный агент сам проверит их границы.