11 октября 2026 г.
ИИ-агенты отклоняли PR в Elixir, а в Go и Rust принимали: разница в наборе проверок
Elixir-порт Campfire проверяют 1 961 тестом на паритет с Rails, и агенты-ревьюеры судят его PR иначе, чем PR в Go, Express и Rust. По словам Хосе Валима, причина в наборе обязательных проверок: у каждого проекта свой.
José Valim
@josevalim
Я пытался понять, почему PR с ускорением Elixir-версии отклоняют ИИ-агенты, а PR в Go, Express и Rust принимают. Оказалось, что у каждого проекта не только своя отправная точка и свой промпт, но и свой набор проверок, которые нужно пройти! Например, только Elixir прямо обязан «сохранять поведение закреплённого Rails-референса». Только у него есть явная проверка, что мы используем Redis и осушаем его очередь (поэтому её нельзя убрать, а в других проектах можно). И только его правило реально соблюдают. Выходит, что люди, которые велят не читать код, сами не могут использовать ИИ, чтобы настроить честные бенчмарки. Наверное, потому что для этого пришлось бы читать код. Не верьте мне на слово: проведите собственное исследование или попросите агента сделать это за вас. Например, вот что вернул Claude Code: https://gist.github.com/josevalim/aecb6a602673a5dde173dd825346f749
Также я вынес в отдельный проект проверки, который отвечает за бенчмарки и за проверку новых реализаций и улучшений существующих. Полный отчёт последних прогонов лежит там же. https://github.com/basecamp/once-campfire-verification/blob/main/docs/performance-review.md
· 3,6 тыс. просмотров
Хосе Валим хотел понять, почему ИИ-агенты отклоняли PR на Elixir, а такие же PR в Go, Express и Rust принимали. Причину он нашёл не в промптах. По его словам, у порта Campfire на Elixir проверки свои: только он обязан сохранять поведение закреплённого Rails-референса, и только у него есть явная проверка, что Redis-очередь опустошается. Отчёт Claude Code на эту тему Валим выложил в открытом доступе, и он оформлен как Claude Code в твите.
Ускорение дало цифры. PR #4 «improve runtime throughput while preserving Rails behavior», согласованный с агентами, при 16 соединениях поднял пропускную способность комнат на 19,4%, сообщений на 15,6%, сайдбара на 63,3%. Сам порт на странице комнат при 16 одновременных клиентах отдавал 5 350 запросов в секунду против 4 101 у Rails.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Проверка на паритет. PR #4 прошёл 65 паритетных гейтов с Rails и 1 941 unit-тест на amd64 и ARM64 Linux. За 12 858 383 успешных ответа по 192 HTTP-ячейкам ошибок не было, очереди Redis и Resque опустели.
Для практика вывод такой: результат агента зависит от того, какие проверки заданы проекту, а не только от промпта.
Регрессии PR #4 пока открыты: при 64 соединениях самый медленный 1% ответов в комнатах стал медленнее на 54,4%, в сообщениях на 87,0%.
Первоисточник