Топ-модель дороже дешёвой в 36 раз: Glean замерила прирост качества в 22%

Glean прогнала 1000 задач из боевого корпоративного трафика через 37 моделей и режимов reasoning, а 26 августа выложила фронтир «цена/качество». Между его краями 36-кратный разрыв в деньгах и 22% в качестве.

Пять точек фронтира, от самой дешёвой к самой дорогой:

| Модель | Цена за задачу | Score | | --- | --- | --- | | GPT-5.6 Luna (xhigh) | $0,0819 | 55 | | GLM 5.2 (high) | $0,3489 | 57 | | Gemini 3.7 Flash (high) | $0,4748 | 61 | | Kimi K3 (high) | $0,8995 | 63 | | Claude Opus 5 (high) | $2,9605 | 67 |

Score здесь не проценты правильных ответов. 60 означает, что модель выигрывает по качеству на 60% задач в очной паре со случайно выбранным соперником, 50 — середина распределения. Считали по 81 парной дуэли, статистика Bradley–Terry, качество ответов оценивал агент-судья.

Деньги живут в середине. Kimi K3 и Gemini 3.7 Flash забирают почти весь прирост качества над самой дешёвой моделью и остаются в 3–6 раз дешевле Opus 5.

Мерили на корпоративных задачах Glean. Как те же модели ведут себя на задачах на русском, проект меряет в индексе_.

Как включить авто-выбор. В Glean Chat открой New Chat, нажми иконку настроек и выбери «Auto» («Selects the best model»). Дальше Glean подбирает модель под каждый чат сам, по внутренним оценкам и живому трафику, а набор доступных моделей задаёт админ в Model Hub.

В том же посте Glean сравнила свой авто-роутинг с Claude Cowork на 180 корпоративных задачах: $0.58 за задачу против $2.98, и судья предпочёл ответы Glean в 78% случаев.