Дешёвая модель на максимуме рассуждений обходит дорогую на минимуме: +3,3% против +1,2%

Arena 27 июля пустила в Agent Arena xHigh-варианты GPT-5.6 Terra и Luna: 15-е и 17-е места в рейтинге. Luna на xHigh даёт +3,3% к базовой линии, Terra на Medium +3,1%, на Low +1,2%. На самом низком уровне рассуждений Luna проваливается на 5,1% ниже базовой линии, а Terra стоит на месте.

Почему это важно: Раньше лидерборд печатал одну строку на модель, и читатель считал, что это число описывает модель целиком. Теперь Arena разносит результат по уровням рассуждений, и одна модель занимает несколько строк с разбросом от минуса до плюса. Питер Гостев называет это победой Ноама Брауна: тот давно требовал публиковать test time scale вместе с цифрой результата. У практика меняется сама развилка выбора: не «какая модель», а «какая модель на каком уровне усилий». Цену вариантов Arena не называет, а задержку выносит за скобки одной оговоркой.

Что дальше: Замер простой: прогнать свой рабочий модуль на модели подешевле с максимальным уровнем рассуждений и на дорогой с минимальным. Потом сравнить счёт, время прогона и число правок за собой.