Codex по одному промпту-шутке собрал рекурсивный бенчмарк и выдал готовую arXiv-статью в PDF

24 июля Итан Моллик шутки ради дал Codex один промпт: собери и прогони BenchBench - бенчмарк того, насколько AI хорош в создании бенчмарков, потом выясни, что такое benchbenchbench, прогони и его, а результат оформи как статью для arXiv. Codex вернул готовый PDF. По словам Моллика, статья вышла осмысленной.

Почему это важно: Раньше, чтобы получить бенчмарк и статью по нему, инженер сам писал ТЗ на каждый шаг и оформлял результат. Здесь агент по одной фразе сам придумал метрику, прогнал её, изобрёл следующий уровень рекурсии и собрал PDF. Codex работает на gpt-5.5 по умолчанию и доступен даже на бесплатном плане ChatGPT, так что порог для повтора низкий. Ссылки на сам PDF в твите нет, так что о качестве статьи пока приходится судить по слову автора.

Что дальше: Дождаться, выложит ли Моллик PDF, и прогнать тот же рекурсивный промпт на своём Codex - проверить, воспроизводится ли результат или это разовая удача.