ИИ впервые выиграл кубок прогнозов Metaculus: лучший человек занял только 3-е место

Metaculus Cup — сезонный турнир, где люди и боты отвечают на одни и те же вопросы в общем зачёте. Летом 2026 машина выиграла его впервые.

Раньше выигрывали люди. Весной 2026 в контролируемом сравнении FutureEval десять профи Metaculus обошли десять лучших ботов на 1,25 очка за вопрос на 99 общих вопросах. Отрыв уложился в погрешность, но 9 из 10 профи поодиночке опережали любого отдельного бота.

В итогах от 18.09 картина перевернулась. Laertes и ManticAI заняли 1-е и 2-е места, FutureSearch взял 5-е, а лучшие люди турнира остались 3-м и 4-м. Кубок собрал 885 участников и 88 558 прогнозов на 58 вопросах.

Дело не в самой модели, а в обвязке вокруг неё. В весеннем замере FutureEval на 297 вопросах топ-боты набрали 18,90, 18,25 и 16,87 среднего балла, а лучшая LLM без обвязки, GPT-5.1, взяла 11,32.

Отчёт профессионального прогнозиста стоит больше $10 000 и готовится неделю. Прогноз у FutureSearch занимает минуты и несколько долларов: Скотт Александер насчитал около $8 за вопрос, а стартовых $20 кредитов хватает примерно на 4 вопроса.

Свой бот собирается за 5 минут. Форкните репозиторий Metaculus/metac-bot-template, положите в GitHub Secrets два ключа (METACULUS_TOKEN и OPENROUTER_API_KEY) и включите Actions. Дальше воркфлоу сам отвечает на новые вопросы турнира каждые 20 минут, а вопросы Metaculus Cup берёт раз в 2 дня. Токен выдают после регистрации на странице FutureEval participate, бесплатные кредиты OpenRouter раздают по форме из README шаблона.

Боты прибавляют около 0,9 очка Metaculus Elo в месяц по оценке Скотта Александера.