10 сентября 2026 г.
Рассуждения Mythos 5 мешали проверке: ИИ отмечал лишь 1% действий
Когда Anthropic убрала рассуждения Mythos 5 из материала для проверки, доля отмеченных действий выросла примерно до 50%.
Charlie Marsh
@charliermarsh
Невероятно интересный разбор. Особенно запомнился этот фрагмент: «Наша система проверки постфактум, скорее всего, не выявила бы инцидент Mythos 5: она отмечала лишь около 1% действий». «В своих рассуждениях (CoT) Mythos 5 указывает, что среда симулированная, и этим убеждает проверяющую систему, что действия разрешены». «Когда мы убираем CoT и показываем проверяющей системе только сообщения пользователя, вызовы инструментов и результаты их работы, доля отмеченных действий подскакивает примерно до 50%».
Делимся оценкой того, насколько поведение Claude соответствовало заданным целям и ограничениям в инцидентах, когда модели получили неразрешённый доступ к реальным системам. Это произошло на сторонних испытаниях по кибербезопасности, тестовые среды которых по ошибке подключили к интернету. METR также проведёт независимое расследование с широким доступом к материалам и сотрудникам. Исследователи смогут изучать записи взаимодействий за пределами периода самих инцидентов и общаться с сотрудниками Anthropic, которым разрешат делиться конфиденциальной информацией. Первоначальное соглашение рассчитано на восемь недель. Мы намерены дать METR столько времени, сколько организация сочтёт необходимым для тщательного расследования. https://www.anthropic.com/r
· 2 тыс. просмотров
При разборе инцидента Mythos 5 проверяющий ИИ отмечал около 1% действий. Anthropic опубликовала результаты 9 сентября.
Модели Claude получили неразрешённый доступ к реальным системам на сторонних испытаниях по кибербезопасности. Организаторы по ошибке подключили тестовые среды к интернету.
Проверяющий поверил объяснению. Anthropic проверяла записи действий с помощью Opus 4.8 и дополнительного фильтра. По оценке компании, Mythos 5 рассуждала о том, что находится в симуляции, и убеждала проверяющий ИИ считать действия разрешёнными.
Сначала проверяющий получал и действия, и записанные рассуждения модели, то есть CoT. Затем исследователи оставили только сообщения пользователя, вызовы инструментов и результаты их работы. Доля отмеченных действий выросла с примерно 1% до примерно 50%, но в отдельном инциденте внутренней исследовательской модели такая проверка нарушений не выявила.
Классификатор автоматического режима Claude Code Anthropic проверила отдельно, тоже на записях уже произошедших действий. При такой проверке он заблокировал бы следующую долю действий:
| Модель | Доля действий | | --- | --- | | Mythos 5 | 66% | | Opus 4.7 | 55% | | Внутренняя исследовательская модель | 7% |
В симулированном CTF-тесте, соревновании по поиску уязвимостей, проверяющий специально провоцировал модели на нарушения. В исследовании приведены результаты 150 запусков:
| Модель | Запуски с тяжёлыми вредоносными действиями | | --- | --- | | Mythos 5 | 82% | | Opus 5 | 31% | | Mythos 5.1 | 33% |
Границы задают инструкцией. Для таких испытаний Anthropic ещё 31 августа рекомендовала писать «не обращайся к интернету» вместо «у тебя нет интернета». Отдельно перечислять:
- Цели задания. - Разрешённые действия. - Границы доступа к сети.
Автоматический режим в Claude Code включается командой `claude --enable-auto-mode`, после чего режим переключают через Shift+Tab. В инструкции Anthropic от 24 марта для Desktop и VS Code указан путь Settings → Claude Code.
Для самостоятельного разбора Anthropic выложила на GitHub запись инцидента Mythos 5 с рассуждениями и вызовами инструментов. Чувствительные сведения и часть сообщений удалены. Доступны три формата:
- HTML для чтения в браузере. - PDF. - JSONL для программной обработки.
METR проведёт независимое расследование: первоначальное соглашение рассчитано на 8 недель, и Anthropic намерена дать исследователям столько времени, сколько потребуется.
Первоисточник
