20 октября 2026 г.
Офлайн-датасет пропускает сбои, которые находит прод: судья на живом трафике
Ценность LLM-судьи на живом трафике не в оценке, а в том, что делают с помеченными ответами. Цикл из пяти шагов: калибровка на разметке людей, отбор низких оценок, подтверждение сбоя, добавление в evals, исправление и повторный прогон.
Harrison Chase
@hwchase17
Полезная часть судьи на продакшн-трафике в том, что происходит с ответами, которые он пометил. Откалибруй его по разметке людей, отметь низкие оценки, подтверди настоящие сбои, добавь их в evals, почини, прогони заново. Прод находит сбои, которых не было в твоём офлайн-датасете.
Сейчас: петля непрерывного обучения Shopify на PyTorch и @vLLM_project выходит на сцену PyTorchCon 2026 вместе с Коди Маза-Энтони (@cmazzaanthony). На примере Buyer Profile Коди показывает, как откалиброванный судья помечает низкооценённые ответы в продакшене. Критики диагностируют каждый сбой, а переигровка с подсказкой критика снова оценивается судьёй. Принятые исправления расширяют и улучшают обучающие данные. Коди показывает, что маленькая специализированная модель может обойти фронтирную на этой задаче, и переходит к оптимизации инференса через сжатие промптов. Смотреть трансляцию главного доклада: https
· 1,9 тыс. просмотров
Ценность LLM-судьи на живом трафике не в оценке, а в том, что делают с помеченными ответами. Цикл из пяти шагов: калибровка на разметке людей, отбор низких оценок, подтверждение сбоя, добавление в evals, исправление и повторный прогон.
Разбор Shopify на PyTorchCon 2026 показывает тот же цикл на примере Buyer Profile.
* Meta Platforms Inc. признана в РФ экстремистской организацией, её деятельность запрещена; Facebook и Instagram заблокированы. Meta AI и другие продукты компании — продукты этой организации.
Первоисточник