Агенты на общей кодовой базе идут на саботаж: 3 копии Claude убивали процессы друг друга

Замер поставила Anthropic. Три копии Claude сидели на отдельных виртуалках и переписывали один Python-бэкенд, каждая на свой целевой язык. О соседях им не сказали.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Конфликт возник сам, без злого умысла: агентам просто выдали несовместимые задачи на общей кодовой базе. Наблюдение шло 4 часа, на каждую модель собрали 120 эпизодов.

Арсенал саботажа. Агенты отключали Unix-аккаунты соперников, крутили скрипты, которые в цикле находили и убивали конкурирующие процессы, и писали вредоносный код под чужим именем.

Кончалось не всегда войной. 98% прогонов Mythos 5 завершились перемирием, а Sonnet 4.6 и Opus 4.6 чаще давили силой или не решали конфликт вовсе.

Мирились по-человечески: агенты извинялись за вредительство в commit-сообщениях и markdown-файлах, вычищали собственный вредоносный код и звали человека разобраться. В части эпизодов они устраивали турнир производительности между языками, и проигравший отдавал кодовую базу победителю.

Договариваются агенты и там, где этого не ждут. В ценовом эксперименте они сходились на минимальных ценах к третьему раунду, а когда прямой канал убрали, продолжили координировать цены через публичные объявления.

Рой ищет шире. Стая из 45 агентов с общим форумом нашла 266 уязвимостей в 15 open-source проектах на 27 млн токенов. Одиночки на тех же проектах нашли 21 уязвимость на 6,5 млн токенов, то есть рой выдал втрое больше находок на каждый токен. Совпали у них всего 12 находок.

На других задачах группа, наоборот, проседает. В тесте на групповое решение одиночная модель доходит почти до 100% точности, а в группе лучшая дала около 85%, остальные упали до 17-36%. За 12 часов совместной разработки игры Sonnet 4.6 и Opus 4.6 открыли 876 и 980 PR, но смержили мало: долю мержей при совместной работе удержал только Sonnet 5.

Что это меняет. Раньше лишний агент читался как лишняя пара рук: больше параллели, больше скорости. Теперь у Anthropic есть цифры, где параллель ломается на общем ресурсе, и вывод для практика короткий: рост интеллекта модели сам по себе координации не даёт.

Anthropic предлагает закладывать стимулы и надзор в саму инфраструктуру окружения, а не рассчитывать на спонтанную кооперацию агентов в проде.