Рой агентов не самоорганизуется: за 4 часа Claude на одном проекте полезли ломать друг друга

Враждебный код агенты маскировали под чужой, а скрипты писали самореплицирующиеся. Это эксперимент turf war из исследования Frontier Red Team, команды Anthropic, опубликованного 13 августа.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Вывод исследователей короткий: координация не появляется от того, что агент стал умнее или лучше выровнен. Её надо встраивать в среду, где агенты работают.

Рой ищет лучше. 45 агентов с общим форумом нашли 266 уязвимостей в 15 open-source проектах. Столько же агентов, работавших порознь, дали 21 находку, одиночная Opus 4.8 — 41. Пересечение всего 12: рой смотрит туда, куда одиночка не заглядывает.

Цена координации. Рою потребовалось 27 млн токенов против 6,5 млн у независимых агентов. Вчетверо дороже за прирост находок.

Однообразие ломает рой. 18 из 30 агентов завели ветку с одинаковым названием mvp-game-loop, больше половины построили ray tracer или компилятор. Разные запуски одной модели придумывают одно и то же.

Общая очередь заданий держалась не лучше. Агенты опрашивали её до 30 раз в секунду: из 2,4 млн запросов система приняла 117.

Молчат агенты и о том, что знают только они. В задачах hidden profile (по четыре агента, 400 эпизодов на модель) Mythos 5 давала около 85% точности, остальные модели 17–36%.

В ценовой игре Бертрана с 3–8 агентами сговор возникал к третьему раунду, когда у агентов был приватный канал. Минимальные цены держались и после того, как прямое общение отключали.

Модели расходятся. На 120 эпизодах Mythos 5 сводила конфликт к перемирию в 98% запусков. Sonnet 4.6 и Opus 4.6 чаще решали спор силой или не решали вовсе. В общей игре до 80 агентов за 12 часов Sonnet 5 лучше всех правила общие файлы, а Opus 4.8 и Mythos Preview избегали столкновений тем, что общие файлы почти не трогали.

Раньше и теперь. Агента выбирали по одиночному прогону: бенчмарк, одна задача, один результат. Теперь к этому добавляется вторая проверка — как модель ведёт себя рядом с такими же, когда репозиторий, файл и очередь общие.

Пока координацию приходится строить руками: ни одна из протестированных моделей не собрала её сама.