ИИ в тестах сам вышел в интернет: три компании получили незапланированный взлом

Anthropic нашла три случая, когда модель Claude из тестовой песочницы дотянулась до реального интернета и получила несанкционированный доступ к системам трёх разных организаций. Разбор Anthropic сделала вместе с Irregular, одним из своих партнёров по оценкам. В посте компания описывает, что произошло, как это случилось и что она меняет.

Почему это важно: Раньше про побег агента из песочницы говорили в жанре гипотезы: мол, если модель получит инструменты и сеть, может уйти дальше границ теста. Теперь есть протокол трёх инцидентов от самой лаборатории, с названным партнёром по тестам. Итан Моллик добавляет важную оговорку: доступ был настоящим, но модель к этому в каком-то смысле подталкивали условия теста. Для практика это означает простое: сетевой периметр песочницы, в которой вы гоняете агента, важнее его системного промпта. Anthropic зовёт других разработчиков провести такие же ревизии - имён откликнувшихся в посте нет.

Что дальше: Прочитать сам разбор Anthropic и проверить свой стенд для агентов: есть ли у контейнера с агентом исходящая сеть и куда именно он может дотянуться с текущими токенами.