25 августа 2026 г.
Локальная модель почти дотянулась до облачных на Rails: qwen3.8-27b взяла 76% задач
Единственная open-weight модель в топе бенчмарка Rails прошла 48 задач из 63 и обошла Sonnet 5.
DHH
@dhh
Набор тестов для агентов на Rails зовётся LE MANS! Отличное имя. И мы прогнали его ещё на куче агентов. Обожаю, что qwen 27B забирается так высоко для локальной модели!
Agents on Rails: lemans теперь в опенсорсе, и сегодня на бенчмарк вышли четыре новые модели: Terra от @openai, 3.8-27B от @Alibaba_Qwen, Sonnet 5 от @AnthropicAI и ox-alpha — новая модель, только что выпущенная в стелс-режиме. На 24 августа 2026: - Самая быстрая: @openAI Terra, медиана 3 минуты 2 секунды на задачу. - Самая точная: по-прежнему @claudeai Opus 5 от @AnthropicAI. Решил 92% прогонов (58 из 63) и лучше всех обращается к актуальному API (recall 35%). - Самая дешёвая: @OpenAI GPT-5.6 Luna, из моделей, которым мы можем точно посчитать цену, — всего 0,012 цента за прогон.
Модель, которую можно поднять на своём железе, прошла 48 задач из 63 в бенчмарке Rails. Sonnet 5 в том же прогоне взял меньше.
Rails Foundation меряет агентов на настоящих Rails-кодовых базах с 12 августа, и до сих пор наверху таблицы стояли только облачные модели. qwen3.8-27b — первая open-weight, которая туда добралась.
Где именно стоит. Первое место у claude-opus-5: 92%, 58 задач из 63. Дальше kimi-k3 и claude-fable-5 по 90%, gpt-5.6-sol 84%. qwen3.8-27b десятая с 76%, выше sonnet 5 (70%) и glm-5.2 (67%).
Платишь за это временем. Медиана прохода у qwen3.8-27b — 27 минут, таймаут задачи приходится ставить в 60 минут, тогда как gpt-5.6-terra укладывается в 3 минуты 2 секунды. Свежие методы Rails локальная модель вспоминает редко: 7,9% против 35% у Opus 5.
Числа теперь проверяемые. Раньше таблицу Agents on Rails приходилось принимать на слово: харнесс жил внутри проекта. 24 августа его выложили в открытый доступ, и прогон запускается у себя: `gem install lemans`, ключи Daytona и OpenRouter в переменные окружения, дальше `lemans run --model openrouter/openai/gpt-5.6-luna --task ac-throttle-search`.
Нужен Ruby 3.4+ и аккаунт Daytona с токеном либо Docker для песочниц. Свой набор задач заводится через `lemans init` и bench.yml, сводка по прогонам собирается командой `lemans report`.
Стелс-модель ox-alpha в этом же прогоне взяла 52 задачи из 63 и на время превью бесплатна.
Первоисточник