новости/15 июля 2026 г.
12:49Pocock: ставь минимальный effort у AI-агента и поднимай только при провале
источник: @mattpocockuk на X ↗·
машинная выжимка · сверена с источником
Matt Pocock
@mattpocockuk
Когда люди крутят ручку effort, они, похоже, начинают с высокого и опускаются вниз, если нужно. IMO это безумный способ действовать - надо начинать с низкого и повышать, только если это нужно. Effort - это по сути закидывание задачи большим числом токенов. Отлично работает в бенчмарках, где потратить лишние 20% токенов ради 2% улучшения - прекрасно для маркетинга. Но в обычных задачах, таких как исследование репозитория или правка теста, это просто означает жечь бессмысленные токены. Особенно это верно для моделей класса Fable, где токены стоят намного дороже. И чем больше токенов ты жжёшь, тем быстрее подкрадывается деградация внимания и тем хуже становятся твои токены. Люди слишком уж убеждены теми графиками, которые показывают, как линия качества идёт вверх при увеличении effort. Поэтому они думают: «Попробую-ка на xhigh, но не max, это кажется разумным». Но эти графики прячут цену, задержку и невероятную трату впустую. Если ты когда-нибудь просил агента исследовать твой репозиторий и в итоге потратил 200K токенов, ты понимаешь, о чём я. Поэтому всякий раз, когда пробуешь новую модель, сначала попробуй самый низкий уровень effort. Увидел просадку в качестве - повышай понемногу.
· 6,9 тыс. просмотров
Matt Pocock советует начинать любую задачу для AI-агента с самого низкого уровня effort и повышать только при явном падении качества. Обычная привычка обратная: люди ставят высокий effort и снижают по необходимости. Effort - это трата лишних токенов: на бенчмарках +20% токенов дают +2% качества, а на рутине вроде разбора репозитория или правки теста это просто сожжённые токены.
Почему это важно: Дельта против привычных графиков «качество растёт с effort»: они прячут цену, задержку и деградацию внимания. Чем больше токенов сожжено, тем быстрее падает внимание модели и тем хуже становятся её же токены. На моделях класса Fable цена токена выше, поэтому перерасход больнее. Матч с нашей маршрутизацией: xhigh как конвейерный дефолт, max только под разовые ревью. О конкретных порогах в твите молчат.
Что дальше: Проверь на своей задаче: возьми низкий effort на разведке репозитория и правке теста, подними на ступень только если увидел провал. Замерь расход токенов до и после.