25 августа 2026 г.
Агент на GigaChat решает 87% задач вместо 77%: помог профиль обвязки
Команда GigaChain переписала промпты и описания инструментов Deep Agents, и тот же прогон стал жечь на 41% меньше токенов.
Одну и ту же модель прогнали на одном сете дважды. Разница между заходами: 77,2% решённых задач против 87,0%.
Прибавку дала обвязка, а не модель. Часть правил команда зашила прямо в код Deep Agents и собрала всё в профиль под GigaChat, а сет зафиксировала на 391 задаче (v0.16.0): 340 решённых вместо прежних 77,2%.
Ставится одной командой. `pip install deepagents-gigachat`, и код приложения править не нужно: профиль регистрируется через entry point `deepagents.harness_profiles` и подхватывается сам. Нужны Python 3.12+ и deepagents от 0.6.7, исходники открыты под MIT.
Расход токенов на том же прогоне упал у GigaChat 3.5 с 7,37 млн до 4,32 млн, у GigaChat 3 Ultra с 7,99 млн до 4,41 млн. Та же работа обходится почти вдвое дешевле.
Ultra с профилем поднялся с 79,8% до 87,0% и сравнялся с 3.5. Младшие модели держатся далеко позади: 61,6% у GigaChat 3 Pro и 45,5% у Lightning.
Замер открыт. Бенчмарк harness-bench-fast выложен под MIT и гоняется локально без Docker, полный прогон занимает меньше часа. Каждая задача состоит из промпта, начальных файлов и верификатора на Python, который проверяет состояние рабочей среды. Режим `run-pure` прогоняет тот же сет без профиля.
На том же сете Kimi K3 берёт 390 задач из 391, Claude Haiku 4.5 закрывает 380. У GigaChat 3.5 с профилем 340.
Профиль лежит под MIT: тот же приём с обвязкой собирается под любую другую модель.
Первоисточник