Код агента можно не читать: промпт Meta судит о патче верно в 93% случаев

Другого способа забрать у агентов скорость он не видит. Юнит-тесты, написанные агентом, тоже не смотрит. А приёмочные сценарии и процедуры проверки читает сам, потому что там решается, что вообще считать работающей фичей.

Спор «читать или не читать» за полгода превратился в задачу попроще: чем заменить чтение. Ответов набралось три, и все три уже открыты.

Промпт вместо чтения. Meta выложила приём semi-formal reasoning: агент обязан выписать посылки, проследить конкретные пути исполнения и вывести формальное заключение, не запуская код. На реальных патчах, которые писали агенты, связка с Claude Opus-4.5 даёт 93% верных вердиктов, и оставшиеся 7% выглядят такими же уверенными. Шаблоны промптов лежат открыто, их берут как есть. Платить приходится расходом. Вызовов к API уходит в 2,8 раза больше, чем на обычное рассуждение.

Дневник, который перепрогоняется. Саймон Уиллисон выпустил showboat: агент складывает markdown-документ из комментариев, исполняемых блоков кода и пойманного вывода. Команда `showboat verify` заново гоняет все блоки и сверяет вывод с записанным. Ставится одной строкой, `pip install showboat`. Его же rodney даёт агенту открыть страницу, кликнуть и снять скриншот, так что результат видно глазами, а не по диффу.

Границу Уиллисон формулирует коротко. Пройденные тесты — это зачёт, а не пятёрка. Логику они проверяют, а что увидит живой пользователь, не показывают.

Мартин на месте чтения держит замеры: сколько кода накрыто тестами, не распух ли модуль, не запутались ли зависимости, переживут ли тесты нарочную порчу кода. Этих чисел, по его словам, хватает, чтобы судить о качестве.

Общего стандарта проверки кода агентов пока нет: три приёма живут врозь и каждый закрывает свой слой.