ThePrimeagen: бенчмарки давно накручивают, +3% на SWE-Bench Pro ничего не значат

Известный разработчик ThePrimeagen публично раскритиковал бенчмарки моделей и заявил, что разница в 3% на SWE-Bench Pro не значит ничего. Практику это напоминание не гнаться за долями процента в рейтингах и проверять инструменты на своих задачах.