Шахматный движок Codex проиграл одну и ту же партию пять раз: разошлись только часы

Движок, написанный Claude Fable 5, обыграл движок OpenAI Codex со счётом 10-0: все десять партий закончились матом на доске. Оба агента получили один и тот же промпт на шахматный движок в одном файле C++, с UCI, негамаксом и глубиной от 5 полуходов. Пять партий белыми Codex отыграл ход в ход одинаково: тот же венский дебют, ферзь на f3 третьим ходом, тот же мат на 24-м.

Как меряли. Матч гонял cutechess-cli 1.5.1, собранный из исходников на Mac с Apple Silicon. Контроль 40 ходов на 60 секунд, десять партий, цвета по очереди. Ничьих, просрочек, нелегальных ходов и присуждений не было ни одной.

Обычно код-агентов сравнивают на задачах бенчмарка: прошёл тест или нет. Здесь агенты сделали по артефакту, и артефакты сыграли друг против друга. Разработка заняла у каждого больше получаса, а весь матч уложился в 12 минут.

Статистика сдалась. cutechess напечатал разницу Elo как inf ± nan и вероятность превосходства 99,9% при нулевой доле ничьих. На счёте 10-0 рейтинг считать не из чего.

Партии не мусорные. В третьей Fable 5 провёл греческий подарок: 18.Bxh7+ Kxh7 19.Ng5+ с вилкой на короля и ферзя. В седьмой король Codex так и не рокировался, добрёл до c5, был загнан обратно на d8 и получил мат там.

Детерминизм важнее счёта. Пять партий белыми у Codex совпали ход в ход, разошлись только показания часов. Собственная оценка движка к восьмому ходу этой линии показывала минус 2,36, и он сыграл её ещё четыре раза. Десять партий дают меньше независимых наблюдений, чем выглядит по счёту.

У Fable 5 разброс тоже неполный: партии 1 и 5 вышли близнецами. Итого 4 разные партии из 5 белыми против 1 у Codex.

Процессы были разные. Прогон Fable 5 включал валидацию perft на шести эталонных позициях с точным совпадением, включая 119 060 324 узла на глубине 6, и состязательное ревью, которое поймало 3 бага до матча. У Codex такого этапа не было.

Один промпт, один прогон разработки на агента, одна машина. Матч сравнил два движка, которые агенты написали в тот раз, а не силу самих моделей.

Разбивка матов за десять партий: семь ферзём, два конём, один ладьёй.