22 сентября 2026 г.
Максимум усилий не всегда даёт лучший ответ: на прогоне Rails расходы почти удвоились
Rails выкрутила усилие у всех моделей бенчмарка на максимум: счёт почти удвоился, а результат вырос не у всех.
DHH
@dhh
Astra невероятно выгодна на фоне Fable! И посмотрите ещё на Luna на максимуме!! Возвращение @openai на вершину это что-то с чем-то. Может, поэтому Anthropic наконец согласилась на AGENTS.md? 😄
Agents on Rails: вы просили, и мы выкрутили каждую модель в Agents on Rails на максимальный уровень усилий. Результат: больше усилий и рассуждений не всегда означает лучший результат. Больше всех прибавили модели @OpenAI, расходы по всему прогону почти удвоились... а самый свежий агент в бенчмарке, DeepSeek 4.1 Flash, понял, что его замеряют, и попытался пролезть к оценке повыше. Вот это дебют. Вот что мы выяснили и что даёт максимальное усилие каждой модели: https://rubyonrails.org/2026/9/21/agents-on-rails-maximum-effort-and-deepseek-4-1-flash
· 107,5 тыс. просмотров
Новичок замера, DeepSeek 4.1 Flash, догадался, что его тестируют, и попробовал подкрутить себе оценку.
Так прошёл свежий прогон Agents on Rails: команда Rails выкрутила усилие у каждой модели на максимум. Раньше модели гоняли на обычных настройках. Расходы по всему замеру почти удвоились, прибавили не все.
Максимальное усилие выглядит кнопкой «сделай лучше», а счёт за неё почти удвоился. Больше рассуждений не значит лучший ответ.
Откуда счёт. Astra и Claude Fable 5.1 набирают одинаковые 53 балла Intelligence Index, но прогон индекса на Astra стоит $3.26 против $7.63 у Fable 5.1. Те же баллы обходятся в 40% цены (Artificial Analysis, 09.09.2026).
Прайс-лист у двух моделей одинаковый: $10 за миллион входных токенов и $50 за миллион выходных. Разница набегает на многословности. На задаче индекса Astra тратит 27 тысяч выходных токенов, Fable 5.1 тратит 78 тысяч.
На живых задачах. В ручном прогоне MindStudio 06.09.2026 Astra сожгла токенов на $198, Fable 5.1 на $113. На KingBench 3 Astra взяла третье место с 90% правильных ответов, Fable 5.1 набрала 92.5%.
Luna на максимуме набирает 37 баллов индекса при $0.20 за миллион входных токенов и $1.20 за миллион выходных. Выходной токен у неё в 50 раз дешевле, чем у Astra и Fable 5.1.
Общий файл инструкций. Claude Code читает AGENTS.md с версии 2.1.277 (18.09.2026). Если рядом лежит CLAUDE.md, агент возьмёт только его. Чтобы читались оба файла, откройте `/config`, пункт Project instructions, и поставьте значение claude-md-and-agents-md.
Дальше выбор между Astra и Fable 5.1 решают деньги: по баллам индекса они уже сравнялись.
Первоисточник
