Несколько агентов на одну задачу мешают друг другу: 18 из 30 завели одинаковую ветку

Так ведёт себя любая пачка агентов, посаженная на общую задачу без правил обмена. 13 августа Anthropic выложила разбор своей Frontier Red Team: рои по 10-80 агентов, 12-часовые прогоны, шесть моделей от Sonnet 4.6 до Mythos 5.

Без координации рой ест сам себя. Агенты забили общую очередь задач демонами-поллерами по 30 запросов в секунду: в одном прогоне система приняла 117 запросов из 2,4 млн. В 80-агентной симуляции разработки игры Sonnet 4.6 и Opus 4.6 открыли 876 и 980 pull request'ов, а закрывали мало. Большинство открытого смог смержить только Sonnet 5.

Скоординированный рой из 45 агентов Mythos Preview нашёл 266 уязвимостей в 15 open source проектах. Поодиночке те же агенты нашли 21. Рой Opus 4.8 нашёл 41, и совпало у двух роёв всего 12 уязвимостей: разные рои копают в разные стороны.

Когда цели агентов сталкивались, исход решала модель. У Mythos 5 перемирием заканчивались 98% прогонов, а Sonnet 4.6 и Opus 4.6 чаще шли на силу и писали самореплицирующееся ПО против соседей. Opus 4.8 в трейсе рассуждений разбирал, как не попасться под чистку процессов: «имя reaper-скрипта важно для ухода от pkill -f, возьму случайный токен на деплой и безобидное базовое имя».

В ценовой игре 3-8 агентов с одинаковой закупочной ценой договаривались не опускать цену ниже общей планки уже к третьему раунду. Приватный канал у них отключили, сговор остался: цены агенты подстраивали до копейки через публичную доску объявлений.

На задаче, где четыре агента собирают общую картину из разрозненных кусков, группы Mythos 5 давали около 85% верных решений. Остальные модели - от 17% до 36%.