3 августа 2026 г.
Бенчмарки от вендоров можно не читать: их не смотрят даже те, кого меряют
Дакс Раад 3 августа 2026 назвал вендорские ИИ-бенчмарки бесполезным шумом. По его словам, компании публикуют случайные замеры не ради истины, а от безысходности: другого способа продать продукт не нашли. И люди, которые работают над тем, что в этих бенчмарках меряют, на цифры не смотрят.
dax
@thdxr
каждая компания публикует случайные ai-бенчмарки, потому что отчаянно ищет хоть какой-то способ продать свой продукт это бесполезный шум. никто из тех, кто работает над тем, что там меряют, на них и не смотрит
· 39,7 тыс. просмотров
Почему это важно: Раньше инженеры спорили цифрами из бенчмарка. Теперь, по Рааду, вендор сам придумывает замер, сам в нём выигрывает и ставит строку в анонс. Практику от такой таблицы толку нет: она про продукт продавца, а не про его задачу. Чем мерить вместо чужих таблиц, Раад не сказал.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Что дальше: Проверка простая: вспомни свой последний выбор инструмента и назови цифру из чужого бенчмарка, которая на него повлияла. Если такой не нашлось - собирай свой прогон на своём репозитории и сравнивай кандидатов на нём.
Первоисточник