Балл модели оказался свойством дня: между днями разброс втрое больше, чем внутри дня

Число в рейтинге описывает не столько модель, сколько день, когда её мерили. Основатель платформы непрерывных замеров AI Stupid Level свёл 31 352 повторных наблюдения по 49 моделям: внутри дня разброс 2,80 балла, между дневными медианами 8,43.

Раньше дрейф ловили между версиями. В замере на arXiv от 18.07.2023 GPT-4 в марте определял простые числа верно в 84% случаев, а в июне на тех же вопросах — в 51%. Теперь балл гуляет и без смены версии, изо дня в день.

Ниже балл не значит глупее модель. Автор сам перечисляет, что ещё двигает число: состав задач, пропущенные наблюдения, раздача провайдера, инфраструктура и правки самого бенчмарка. Отказ по таймауту он считает проблемой доступа, а не потерей способностей.

Часть разброса не убирается никак. Qwen3-235B при temperature=0 дала на 1000 одинаковых запросов 80 разных ответов, побитовое совпадение вернули только специальные ядра (Thinking Machines Lab, 10.09.2025). У GPT-4o нашли ещё и расписание: одну задачу гоняли по 10 раз каждые три часа около трёх месяцев, и суточные с недельными волнами дали примерно 20% всей разницы в качестве (arXiv, 06.02.2026).

Один прогон ошибается в ранге. ReasonBENCH сделал 30 независимых прогонов и увидел, что лучшая по среднему стратегия обыгрывает ближайшую лишь в 77% очных заходов: примерно каждый четвёртый одиночный замер ставит модели не в том порядке (08.12.2025).

Смотреть на ряд, а не на строчку, можно бесплатно: дашборд DriftBench каждый день гоняет 6 наборов тестов при temperature=0 и сам помечает отклонение больше 15 пунктов от 7-дневной средней модели.

Повторить замер со стороны пока нельзя: живой набор задач автор не раскрывает.