./новости · 2 августа 2026 г.
новость
Связку модели и harness не защитить: обвязку видно снаружи и можно повторить
источник: @thdxr · X·
машинная выжимка · сверена с источником
dax
@thdxr
Многим хочется потоптаться по этому: мол, их harness, собранный за выходные, обходит всё на каком-нибудь тупом one-shot бенчмарке. Но на масштабе это правда. Такие инструменты устроены сложно и обязаны учитывать поведение пользователей. Ты даже не понимаешь, что это значит, пока у тебя нет огромной базы пользователей, которая шлёт тебе данные. Всё это уходит обратно в модель как обратная связь, и она обучается конкретному поведению. А вот что подают неверно: повторить ровно ту же среду очень легко. В harness ничего не спрятано, всё можно увидеть и воссоздать. Успевать за изменениями нудно, но не сложно. Так что в итоге, даже если они правы, защиты это не даёт.
Джесс Ян из технической команды Anthropic говорит, что harness и модель нельзя разделить, не потеряв в производительности, хотя сама отмечает свою предвзятость. «Думаю, я довольно предвзята, но ещё я думаю, что получить максимально возможную производительность, не связав вместе harness и модель, невозможно». «Со временем состав harness и, может быть, его толщина будут меняться, по мере того как модели становятся всё способнее». «Но когда мы тестируем свои модели и оцениваем их производительность, мы всегда обязаны тестировать их в связке с harness». «И…»
· 2,5 тыс. просмотров
Dax Raad 2 августа ответил Anthropic: в обвязке агента ничего не спрятано, повторить её может любой. Джесс Ян из технической команды Anthropic до этого сказала, что максимум производительности достаётся только когда harness и модель связаны, и что модели они всегда тестируют вместе с обвязкой. Raad согласен, что на масштабе это правда, но защиты в этом не видит: догонять чужие правки нудно, а не сложно.
Почему это важно: Раньше спор про код-агентов сводили к бенчмаркам модели, а обвязку считали тонкой прослойкой, которую любой соберёт за выходные. Теперь Anthropic говорит прямо: свои модели она оценивает только в связке с harness, а поведение пользователей возвращается в обучение и вшивается в модель как конкретные повадки. Raad принимает эту часть и тут же снимает страх конкурентов: код обвязки наблюдаем целиком, воссоздать среду можно один в один. Практику отсюда следует одно: один прогон своего harness на одном задании ничего не доказывает, потому что потока пользовательских данных за ним нет. Сколько именно этих данных уходит в тренировку, ни Anthropic, ни Raad не называют.
Что дальше: Возьми свой рабочий модуль и прогони его серией в родной обвязке Claude Code и в своей на той же модели. Цена связки видна на десятке прогонов, а не на одном.
первоисточник