Какая нейросеть лучше: разбираем экзамены, по которым меряют ИИ

Бенчмарк — это экзамен для нейросети. Составители собирают набор задач с проверяемыми ответами, прогоняют через него модели и публикуют таблицу баллов. Никакой магии. Те же ЕГЭ, только сдают их не школьники, а ChatGPT, Claude и DeepSeek.

Слово перегружено. В поиске «бенчмарк» чаще всего значит тест железа вроде AnTuTu для смартфона. Здесь речь про экзамены для ИИ, у них другое устройство и свои болезни.

Бенчмарк не то же самое, что рейтинг. Бенчмарк ставит балл за один экзамен, а рейтинг сводит много экзаменов в таблицу «кто лучше». Под любым «рейтингом нейросетей 2026» лежат конкретные бенчмарки, и качество рейтинга упирается в их качество.

Аналогия с ЕГЭ не буквальная. У человеческого экзамена есть проктор и паспорт сдающего, у машинного — только честность организаторов. Дальше видно, куда это приводит.

Любой бенчмарк собирается из трёх частей.

У бенчмарков короткая жизнь. GLUE, главный экзамен по пониманию языка 2018 года, модели превзошли примерно за год. MMLU продержался четыре года: GPT-3 в 2020-м набирал 43,9%, а к 2024-му топы вышли на 88% и перестали различаться.

Stanford AI Index фиксирует, что свежие бенчмарки теперь насыщаются за месяцы. Насыщенный экзамен бесполезен: контрольная для пятиклассников не отличит двух профессоров, оба напишут её на пятёрку.

Первый ответ индустрии — всё более злые датасеты вроде FrontierMath. Задачи для него собирали больше шестидесяти математиков, включая Терренса Тао.

Второй ответ — композитные индексы. Epoch Capabilities Index сшивает больше пятидесяти бенчмарков в одну шкалу, и она не ломается, когда очередной экзамен «решён».

Лучшей вообще не бывает, бывает лучшая для задачи. Чемпион по коду не обязан быть чемпионом по видео или картинкам. Таблицы это подтверждают: лидеры разных классов бенчмарков не совпадают.

Алгоритм на десять минут.

1. Определи свою задачу: код, тексты, картинки или математика.

2. Открой профильный бенчмарк из карты выше и возьми топ-3, а не топ-1. Разница внутри тройки обычно меньше погрешности замера.

3. Прогони все три модели на паре своих реальных задач. Свой мини-экзамен скажет больше, чем чужая таблица.

Кто не хочет собирать таблицы руками, смотрит композитные индексы: там за обвязками и датами следит измеритель.

Для кода мы делаем это сами. РуБенч гоняет код-агентов на задачах на русском, а Индекс вайбкодинг.ру замеряет их заметность на российском рынке.

Бенчмарки давно стали маркетингом: высокая строчка продаёт подписки.

Подмена модели на арене. В апреле 2025 Meta подала на LMArena специальную версию Llama 4 Maverick, натренированную нравиться людям в дуэлях. Кастомная версия заняла второе место, а публичная стояла примерно тридцать второй. После скандала арена ужесточила правила.

Игра в лучшую попытку. Исследование «The Leaderboard Illusion» (апрель 2025) показало, что крупные лаборатории приватно гоняли на арене десятки вариантов моделей и публиковали только лучший. Meta прогнала до 27 вариантов перед релизом Llama 4.

Утечка задач в обучение. Модели учатся на текстах из интернета, куда попадают и сами задачи экзаменов. Проверка на «чистом зеркале» роняла точность на GSM8K до 23 пунктов (NAACL 2024). Модель не решала задачи, она их помнила: билеты утекли в интернет задолго до экзамена.

Брак самих экзаменов. В MMLU 6,5% вопросов содержат ошибки (исследование «Are We Done with MMLU?», 2024). SWE-bench чинили ручным отбором пятисот «проверенных» задач, а потом перепроверка нашла серьёзные дефекты в 59% провальных прогонов. После этого OpenAI в 2026-м публично списала этот бенчмарк как метрику фронтира.

Красивые графики релизов. На презентации GPT-5 в августе 2025 столбики диаграмм противоречили собственным числам, и Сэм Альтман признал «mega chart screwup». Слайд анонса не источник. Источник — независимый прогон.

В 2025 году лаборатория METR проверила это на живых людях. 16 опытных разработчиков решали 246 реальных задач в своих проектах, часть — с ИИ-помощниками. С ИИ они оказались на 19% медленнее, хотя сами оценивали своё ускорение в плюс 20%.

Вывод бьёт не по нейросетям, а по слепой вере в баллы. Экзамен меряет задачу в вакууме. В живой работе решают контекст проекта, навык постановки задач и цена проверки чужого кода.

У каждой таблицы есть автор, а у автора есть интересы.

Epoch AI, некоммерческая лаборатория на грантах, держит FrontierMath. В январе 2025 она признала, что создание бенчмарка тайно оплатила OpenAI, имевшая доступ к задачам.

LMArena выросла из академического проекта Berkeley в компанию с оценкой 1,7 млрд долларов. Рост совпал с главной критикой: исследование о перекосе арены в пользу больших лабораторий вышло ещё в апреле 2025-го.

Scale AI, державшая лидерборды SEAL, в 2025 году продала 49% компании Meta. Конкуренты свернули с ней работу.

Толпа тоже измеритель. Миллионы голосов арены честно меряют симпатии, вопрос лишь в том, что ты хочешь купить: симпатичный ответ или решённую задачу.

Сами лаборатории публикуют баллы своих моделей в собственных обвязках, и независимой проверки эти цифры по умолчанию не проходят.

Правило чтения простое. У каждой цифры смотри тройку: кто мерял, в какой обвязке, какого числа. Нет хотя бы одного ответа, значит перед тобой не факт, а реклама.

Английские экзамены почти не проверяют русский, для него есть свои. MERA — открытый бенчмарк консорциума Сбера, Яндекса, Skoltech и РАН из 21 задачи с закрытыми тестами. llmarena.ru устраивает слепые дуэли на русском. Модели GigaChat, YandexGPT и T-pro меряются именно там.

Наш вклад на этой полке — РуБенч, независимый бенчмарк код-агентов на задачах на русском с открытой методологией.

1. Бенчмарк — экзамен для нейросети. Рейтинг, не называющий бенчмарки под собой, пуст.

2. Цифра существует только с тройкой «кто мерял, какая обвязка, какая дата». Без тройки это реклама.

3. Один общий балл не решает ничего. Выбирай по своему классу задач и бери топ-3, а не топ-1.

4. Арена показывает вкус толпы, экзамен меряет знания, композит сводит всё в один балл. Это три разных инструмента.

5. Лучший экзамен — собственный. Десять минут на трёх моделях со своей задачей скажут больше любой таблицы.