Модель в фоновых агентах решает не всё: практик с Reddit ставит на того, кто замыкает цикл

27 июля на r/ArtificialInteligence вышел пост с одним тезисом: в фоновых код-агентах дело никогда не было в модели, дело в том, кто замыкает цикл. Автор - пользователь cheerfulboy. Кроме этой формулировки в материале источника ничего нет: ни инструментов, ни замеров, ни примеров - разбор ушёл в комментарии.

Почему это важно: Год спор про фоновых агентов шёл про движок: чья модель умнее, тот агент и берут. Автор переносит вопрос на контур вокруг модели: кто принимает патч, гоняет тесты, ловит красный прогон и чинит его без человека. Для практика это меняет критерий выбора: сравнивать надо не бенч модели, а то, сколько шагов агент проходит сам до зелёного. Доказательств у тезиса нет: пост про замкнутый цикл свой цикл не замыкает.

Что дальше: Взять одну задачу и прогнать её двумя фоновыми агентами, замерив не качество патча, а долю прогонов, дошедших до зелёных тестов без вашего вмешательства.