17 ноября 2026 г.
AutoJudge: поиск ошибочного ИИ-агента с точностью 67,24% в тесте Who&When
Сбер сравнил проверки на одной GPT-4o: с AutoJudge точность поиска ошибочного агента выросла с 55,17% до 67,24%.
У чат-бота проверяют ответ, а у системы из нескольких ИИ-агентов приходится искать ошибку в последовательности действий. В разборе от 17 ноября Sber AI Lab описала два инструмента для этих задач: SIRIN проверяет ответы модели, AutoJudge разбирает ход работы агентов.
Проверка ответа. SIRIN оценивает достаточность контекста до генерации, а после неё ищет галлюцинации в целом ответе и отдельных фрагментах. В работе от 20 июля авторы объединили три подхода:
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
- Анализ внутренних состояний модели. - Оценку её неопределённости. - Проверку с помощью модели-судьи.
В браузерном демо на Hugging Face Spaces можно увидеть оценки галлюцинаций, неподтверждённые фрагменты и сравнить детекторы. Для локального интерфейса из корня репозитория SIRIN выполняют `python -m pip install -e '.[ui]'`, затем `python -m streamlit run sirin/ui/streamlit_app.py`. Инструмент работает с открытыми моделями Hugging Face и закрытыми через API.
Поиск ошибочного агента. AutoJudge получает запись шагов выполнения, классификацию ошибок и схему результата. Мета-агент создаёт промежуточных судей и итогового агрегатора без отдельного обучения под каждый набор. В эксперименте Who&When авторы использовали одну и ту же GPT-4o, меняя способ организации проверки.
Проверку можно строить заново для каждого запуска или переиспользовать для набора запусков. Длинную запись шагов AutoJudge принимает в сжатом виде и при необходимости запрашивает отдельные шаги в оригинале.
Код AutoJudge доступен через репозиторий MASeval, где README описывает TraceInspector. Для установки нужны Python 3.12 или новее и команды `git clone https://github.com/sb-ai-lab/MASeval.git`, `cd MASeval`, `uv sync`. Для примеров задают `OPENROUTER_API_KEY`, затем выполняют `python examples/who_and_when/launch_findings_judges.py --run hc`.
Этот пример MASeval запускает 11 судей и сохраняет диагностические отчёты в JSON.
Первоисточник