./новости · 3 августа 2026 г.
новость
Бенчмарки от вендоров можно не читать: их не смотрят даже те, кого меряют
источник: @thdxr · X·
машинная выжимка · сверена с источником
dax
@thdxr
каждая компания публикует случайные ai-бенчмарки, потому что отчаянно ищет хоть какой-то способ продать свой продукт это бесполезный шум. никто из тех, кто работает над тем, что там меряют, на них и не смотрит
· 31,6 тыс. просмотров
Дакс Раад 3 августа 2026 назвал вендорские ИИ-бенчмарки бесполезным шумом. По его словам, компании публикуют случайные замеры не ради истины, а от безысходности: другого способа продать продукт не нашли. И люди, которые работают над тем, что в этих бенчмарках меряют, на цифры не смотрят.
Почему это важно: Раньше инженеры спорили цифрами из бенчмарка. Теперь, по Рааду, вендор сам придумывает замер, сам в нём выигрывает и ставит строку в анонс. Практику от такой таблицы толку нет: она про продукт продавца, а не про его задачу. Чем мерить вместо чужих таблиц, Раад не сказал.
Что дальше: Проверка простая: вспомни свой последний выбор инструмента и назови цифру из чужого бенчмарка, которая на него повлияла. Если такой не нашлось - собирай свой прогон на своём репозитории и сравнивай кандидатов на нём.
первоисточник