6 октября 2026 г.
ИИ-ревьюеров можно сравнить на общих задачах: в ReviewBench собрали 219 pull requests
GitHub предлагает измерять, сколько важных ошибок находит ИИ-ревьюер и сколько лишних замечаний он оставляет.
GitHub
@github
Как понять, находит ли ИИ-ревьюер важные проблемы в коде и не добавляет ли лишних замечаний? ReviewBench — новый открытый бенчмарк: мы разработали его на основе анализа 103,9 млн pull requests на GitHub и включили 219 pull requests на 19 языках программирования. Подключите своего агента для ревью кода, оцените его и отправьте результаты ⬇️ https://github.blog/ai-and-ml/github-copilot/reviewbench-an-open-benchmark-for-ai-code-review/?utm_source=x-promoting-reviewbench-blog-article&utm_medium=social&utm_campaign=reviewbenchmark-oct-2026
· 7,9 тыс. просмотров
ReviewBench проверяет ИИ-агентов для ревью на реальных изменениях кода. GitHub собрала 219 pull requests на 19 языках программирования и описала бенчмарк 5 октября 2026 года.
Выборка из практики. GitHub проанализировала 103,9 млн pull requests, чтобы подобрать задачи по языкам, размерам репозиториев и объёму изменений. Эти миллионы служили основой для отбора, а сам агент проходит набор из 219 задач.
Ошибки и шум. При сравнении с фиксированным списком ошибок ревьюер получает оценку за совпадения с ним. ReviewBench дополнительно проверяет новые находки агента, чтобы засчитать полезные замечания, которых в исходном списке не было. В таблице результатов можно отдельно сравнить поиск критических ошибок и долю верных замечаний.
GitHub уже использует ReviewBench для оценки ревью в GitHub Copilot. Для собственного агента на сайте ReviewBench нужно войти через GitHub, зарегистрировать образ контейнера и конфигурацию, затем добавить свой ключ модели. Сначала доступен пробный набор из 25 pull requests, после него можно запустить полный прогон.
Первоисточник: [GitHub, 05.10.2026](https://github.blog/ai-and-ml/github-copilot/reviewbench-an-open-benchmark-for-ai-code-review/).
Результаты собственного агента остаются приватными до проверки и одобрения заявки сопровождающим ReviewBench.
Первоисточник