16 октября 2026 г.
Бенчмарки ИИ обходят большую часть работы: 29 тестов покрывают около 5% задач
По оценке Mercor, 90% рабочих часов в США уходят на задачи, которые бенчмарки почти не покрывают. Карта от 15.10.2026 связывает 29 бенчмарков с 208 из 923 профессий O*NET (около 23%) и с 924 из 18 797 задач (около 5%).
Для выбора модели это значит простое: рейтинг по бенчмарку описывает его задачи, а не вашу работу. Цифра 90% оценка, а не замер: она опирается на данные об использовании времени (Hatgis-Kessell et al., arXiv:2608.05172).
Четыре из 29 сделал сам Mercor. В индексе четыре APEX: APEX-1 (398 позиций), APEX-Agents (445), APEX-Accounting (170) и APEX-SWE (без экспертной оценки).
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Как сопоставляли. Языковая модель сводила промпты с задачами O*NET: в среднем 3,1 задачи на промпт. Точность первого выбора 76,7%, с учётом всех вариантов 85,4%. Экспертом проверили 1013 из 1022 промптов.
Классификация опирается на каталог O*NET 30.0 Министерства труда США, оценку AI-экспозиции Eloundou et al. (arXiv:2303.10130) и тегирование задач Wang et al. (arXiv:2603.01203).
Пока бенчмарки покрывают 924 задачи из 18 797, рейтинг моделей описывает только эту часть работы.
Первоисточник