Сравнить код-агентов по делу не выйдет: долю PR с первой попытки не публикует ни один вендор

27 июля на r/ArtificialInteligence разобрали устройство «фабрик софта»: агент забирает тикет и открывает пул-реквест. Автор упирается в одну дыру: долю PR, принятых с первой попытки, не показывает ни один вендор. Числа в посте нет, есть объяснение, почему его не будет.

Почему это важно: Раньше агент сидел внутри редактора и дописывал за тебя строку: качество проверялось на глаз, за секунды. Теперь он берёт задачу из трекера и приносит готовый пул-реквест. Мерить такое надо иначе: долей веток, которые уехали в main без переделки. Такой метрики в маркетинге агентов нет. Вендор показывает демо и проценты на бенчмарках, а первую попытку на живом тикете обходит стороной: она упирается в чужую кодовую базу и портит картинку. О ней в анонсах молчат.

Что дальше: Свой замер стоит недорого: отдай агенту 20 тикетов из своего трекера и посчитай, сколько PR ушло в main без правок. С демо вендора сравнивай уже это число.