Проверку статей ICML потянули агенты: у 23% работ выводы опровергнуты или оспорены

Нашли их не рецензенты, а участники хакатона Hugging Face. С 15 июля по 2 августа 1 221 человек гонял чужие статьи через код-агентов и за 19 дней разобрал 2 226 работ, треть всего, что приняли на ICML 2026.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Читателю статей это даёт редкую вещь: не мнение о работе, а независимый вердикт по каждому её утверждению. Судьи хакатона оценили 35 908 таких утверждений.

Что нашли в статьях

Половина устояла. У 51% разобранных работ, это 1 103 статьи, хотя бы один вывод подтвердился независимо. Из них 266 воспроизвелись целиком, 632 частично и без единого опровержения.

У 496 статей хотя бы одно утверждение опровергнуто или оспорено. Полностью развалились 49 работ, ещё по 242 независимые команды пришли к противоположным вердиктам. Отдельно 502 результата признаны игрушечными по масштабу, 280 неубедительными.

Разбор доходил до строчки кода. В работе про learning-augmented paging обещанная робастность H_k + O(1) оказалась H_k + Θ(log k). В статье про self-distillation теория разбирала reverse KL, а код считал forward KL.

Вердикты ставил не человек. Каждый логбук перечитывал автоматический Logbook Judge на открытой модели GLM-5.2 и вешал на утверждение одну из меток: verified, falsified или toy.

Решает человек у руля. Главный вывод организаторов не про автономность агента. Лучшие результаты собрали те, кто строил окружение и задавал правильные вопросы. Победитель категории human-in-the-loop лично отсмотрел 128 пар изображений, потому что перцептивную оценку агент не тянет.

Как повторить заход у себя

Порядок такой: `hf auth login`, дальше `pip install --upgrade "trackio>=0.32.1"`. Логбуки приехали ещё в Trackio 0.30.0, но полные трейсы агента принимает только 0.32.1 и новее.

Скиллы под своего агента ставит `trackio skills add --claude`, есть варианты `--cursor`, `--codex`, `--opencode`, `--pi`. Сам логбук открывается командой `trackio logbook open --title "Repro: <paper title>"`, а уезжает наружу через `trackio logbook publish <username>/<paper-id>`.

Считать придётся за свои: 750 слотов по $20 кредитов на GPU разобрали полностью, новым участникам их уже не выдают.

Все вердикты заморожены в открытом датасете ICML-2026-agent-repro/challenge под лицензией MIT. Рядом лежат 274 датасета с трейсами агентов.

Две статьи по итогам разбора уже правят на arXiv.