29 сентября 2026 г.
Веб-агентов можно сверить по действиям: WebPageBench сравнил 24 связки
29 сентября Сбер открыл WebPageBench: бенчмарк проверяет 24 связки на 152 задачах в шести имитациях сервисов.
Раньше веб-агента проверяли на живом сайте, где контент меняется, либо верили его отчёту и LLM-судье. Теперь локальная среда повторяет сценарии покупок на маркетплейсе и бронирования билетов на поезд, а агент запускается одной командой.
Отчёт расходится с делом. Публичный рейтинг показывает, что агенты часто сильно завышают результат. Для разработчика это способ сравнивать связку «модель + обвязка» по выполнению задач, а не по словам агента.
Код и задачи опубликованы в репозитории, рейтинг доступен на Hugging Face, а препринт опубликован на arXiv.
Первоисточник
