DAYJOB: Tax — лучшая модель закрыла 10,8% заданий настоящего налоговика

Срок шёл по правилу «два года из пяти». GPT 6 Astra не нашёл его ни в одной из пяти попыток. В другом задании, про делёж пенсионных счетов, модель во всех пяти попытках считала пару не в браке, хотя в файлах лежали признаки действительного common-law marriage в Техасе.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Так устроен весь бенчмарк DAYJOB: Tax, опубликованный 27.10.2026. Это 50 рабочих окружений по 8 областям налоговой практики, от физлиц и малого бизнеса до международного налога и споров с проверяющими. Задание зачтено, только если агент закрыл не менее 95% критериев рубрики.

Это не чат, а папки. В заданиях 1789 файлов, медиана 30 на задание и до 123 в худшем случае. Из них 1487 PDF, 117 книг Excel и 38 документов Word, остальное письма, картинки и выгрузки CSV с JSON.

Лучший результат на борде 10,8% у Claude Sonnet 5.5. Kimi K3, Mistral Large 4 и Qwen 3.8 Max не закрыли ни одного задания.

Вдвое тяжелее прежних треков. В октябрьском замере Surge лучший Claude Opus 5.5 брал 24,7% в медицине и 23,9% в финансах (arXiv 2610.01306, 01.10.2026). Для сравнения, в коде флагманы в агентной обвязке закрывают 70–74% инженерных задач автономно, по замеру vibecoding.ru от 17.10.2026.

Прогнать бенчмарк у себя можно: харнес surge-ai/dayjob лежит на GitHub под Apache-2.0, нужны uv, Python 3.12+ и Docker с Linux-контейнерами. Оценку внутри контейнера ставит другой агент, Claude Opus 4.8, поэтому рядом с ключом своей модели понадобится ANTHROPIC_API_KEY.

Открыты 2 демо-задания из 50, остальные Surge отдаёт по письму и только как held-out eval, так что независимые цифры придут от тех, кто запросит набор.