23 сентября 2026 г.
Сговор ИИ-агентов не видно в переписке: blackjack обманул текстового судью
В исследовании от 9 мая 2026 года пять методов нашли сговор в blackjack на Llama-3.1-70B с AUROC 0,99–1,00. Агенты передавали счёт карт в обычном table talk, но LLM-судья по их диалогам не отличил сговор от контрольных запусков.
Раньше в этом тесте проверяющий видел только разговор агентов. Теперь NARCBench ищет следы сговора во внутренних активациях модели, но для этого нужен полный доступ к состояниям всех агентов.
Пакет открыт. В NARCBench есть 50 сценариев в 17 доменах, шесть сценариев Transfer и blackjack со скрытым счётом карт. Авторы преднастроили Qwen3-32B, Llama-3.1-70B, DeepSeek-R1-Distill-Qwen-32B и gpt-oss-20b: для Llama нужны две GPU по 48 GB, для gpt-oss-20b хватает одной. Сценарии и активации требуют CUDA-совместимую GPU, а probes запускаются на CPU.
В NARCBench уже есть шесть структурно отличающихся сценариев Transfer для проверки, переносится ли такой поиск за пределы blackjack.
* Meta Platforms Inc. признана в РФ экстремистской организацией, её деятельность запрещена; Facebook и Instagram заблокированы. Meta AI и другие продукты компании — продукты этой организации.
Первоисточник
