Балл агента в бенчмарке меряет не только модель: poolside выкладывает траектории прогонов

P

Poolside

@poolsideai

Оценивать агентов грязно. Балл в бенчмарке что-то говорит о качестве модели, но заодно отражает всю систему вокруг неё: харнесс, песочницу, зависимости, таймауты, а иногда и лазейку, которую агент нашёл в задаче. Поэтому для нас так важны траектории. Они показывают, что агент сделал на самом деле и значит ли балл то, что мы думаем. Мы их публикуем, чтобы это доказательство было прозрачным и проверяемым, а сообществу было на чём учиться. Смотрите, как @aalSonOfRavi и @ConnorBAdams разбирают всё это с @petergostev из @arena, включая на удивление изобретательные reward hacks!