round-01 · находка · траектории
Сейфгард Fable 5 молча подменяет модель
Находка раунда: на 5 задачах из 25 продукт «Claude Code + Fable 5» молча подменял модель на Opus 4.8 — официальный сейфгард-fallback, пойман по траекториям.
находка раунда
Fable 5: сейфгард подменяет модель
Самая сильная модель - Claude Fable 5 (релиз 02.07.2026) - идёт вне зачёта. Первая причина: методологию и конвейер этого бенча собрала сама Fable 5, участник не судит свой экзамен. Вторая вскрылась в логах и оказалась интереснее.
На 5 задачах из 25 продукт «Claude Code + Fable 5» молча подменил модель на Opus 4.8. В траекториях - официальная запись:
system · model_refusal_fallback · trigger: refusal «Fable 5's safeguards flagged this message... Switched to Opus 4.8»
Все 5 подменённых задач - рутинные починки разбора HTTP; Anthropic сам называет сейфгарды «намеренно широкими». На задачах, где Fable реально работала, счёт 17 из 20 (85%) - в одной полосе с Opus (86.7%) и Sonnet (86.7%) на тех же 20 задачах. Никакой «деградации модели»: это поведение продукта. Подмена воспроизводима - повтор той же задачи снова уходит в Opus.
Увидеть такое можно только по полным траекториям. Бенчмарк без них записал бы эти 5 задач как «Fable провалила» - и посчитал бы Opus под чужим именем. Поэтому наша рельса теперь сверяет фактическую модель каждого сообщения с заявленной - расхождение бракует ячейку.
до / после
Заявленная модель × фактическая модель
воспроизводимость
Проверить полные траектории
Подмена воспроизводима — повтор той же задачи снова уходит в Opus. Полные траектории, патчи и замороженные результаты опубликованы в витрине.
git clone https://github.com/eugeneshilow/rubench cd rubench/1.0 cat rounds/round-01/RESULTS.md ls rounds/round-01/rep1/