12 ноября 2026 г.
Статьи ICML перепроверили с ИИ-агентами: у 496 работ оспорили хотя бы один вывод
Участники хакатона Hugging Face и alphaXiv нашли ошибки в работах, которые уже прошли научное рецензирование.
Авторы статьи о непрерывном обучении исправили публикацию после перепроверки: в теории и коде они использовали разные формулы.
Рецензенты уже приняли эти работы на ICML 2026. Затем участники ICML 2026 Open Reproductions поручили ИИ-агентам повторить эксперименты. С 15 июля по 2 августа 1 221 участник опубликовал 6 816 журналов попыток воспроизведения 2 226 статей. Итоги организаторы собрали 13 августа.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Что удалось повторить. Все извлечённые утверждения подтвердились у 266 статей. Хотя бы одно подтвердилось у 1 103 работ, или 51% проверенных по подсчёту организаторов. У 496 работ, или 23%, участники опровергли либо оспорили хотя бы одно утверждение.
В Do Transformers Need Three Projections? участники обнаружили, что около 66% оцениваемых позиций занимали служебные заполнители EOS. После исправления потеря качества при сокращении кеша на 50% выросла с 3,1% до примерно 9,4%.
В Attention's forward pass and Frank-Wolfe три команды нашли контрпримеры на шагах 224, около 3 800 и 6 416. Авторы подтвердили ошибку. В Self-Distillation Enables Continual Learning авторы использовали reverse KL в теории, а forward KL в коде. Участники не воспроизвели заявленный прирост в 4 процентных пункта, после чего авторы обновили статью на arXiv.
Ошибались и проверяющие: для 242 статей независимые команды получили противоположные вердикты. В одной попытке участники заявили о замедлении в 2 раза, сравнив время одной траектории со временем пакета из 50. После исправления сравнения они подтвердили ускорение в 8 раз.
Как повторить эксперимент. Для такой работы подходят привычные агенты для кода. Организаторы разрешали собственную связку, включая Claude Code, Codex и Cursor. В FAQ также указан Pi, а alphaXiv предлагает OpenResearch с локальной панелью для воспроизведения статей.
Сохранённая после хакатона инструкция от 2 августа описывает запуск экспериментов, запись результатов и публикацию журнала в Trackio. Установка Trackio:
```bash pip install --upgrade trackio ```
Готовую инструкцию для агента можно получить командой:
```bash curl -sL https://huggingface.co/datasets/ICML-2026-agent-repro/challenge/resolve/main/README.md ```
Руководство хакатона осталось доступно после завершения приёма работ 2 августа.
Первоисточник