Закрытый контур стоит качества: российские агенты против Claude и Codex на 25 настоящих задачах

Честно сравнить агентов можно только на одинаковых задачах. В РуБенче их 11: починки вышли после 17 июня 2026 года, когда модели таблицы уже не учились.

Каждый агент решал каждую задачу три раза, без права доработать сданное. Так у строки получается 33 попытки, и счёт идёт в доле зачтённых.

Из четырёх задач лидер без доработки закрывает три, SourceCraft — две с половиной, Koda две. Остальное доделывает человек.

С SourceCraft разница чуть больше одной задачи из одиннадцати, это близко к шуму: одна задача стоит 9 пунктов. С Koda разница почти в три задачи, и она уже заметна.

В полной таблице раунда, где у агентов разные задачи, SourceCraft выглядит сильнее: 66,7 %, ровно как Codex с прошлой моделью GPT-5.5. Koda — 51,5 %, рядом с Claude Code и Haiku 4.5.

Оба российских агента работали в облаке вендора в РФ, то есть это российский контур, а не закрытый. Своих серверов в РуБенче нет, о них глава 5.

Наш сайт строят Claude Code и Codex, и вопрос «не подсуживаете ли своим» законный.

Зачёт ставит не жюри, а скрытый от агента тест автора настоящей починки. Задачи взяты из пяти живых репозиториев, ТЗ написаны по-русски заново.

Второй предохранитель — проверка записей работы. Два сканера разобрали все 437 попыток раунда: не нашёл ли агент готовую починку в сети или на диске.

У российских агентов таких случаев ноль. У Codex с GPT-5.6 они есть: после вычета лидер опускается с 82,6 до 71,0 %, а Luna с 75,4 до 65,2 %, ниже SourceCraft.

Себя мы тоже ловили. С 15 июля стартовый код одной задачи уже содержал готовую починку, мы нашли это сами и исключили 16 таких попыток.

Границы у замера тоже есть. В строке от 11 до 25 задач, одна задача стоит 4–9 пунктов, поэтому разница меньше десяти пунктов считается шумом.

Июльские строки SourceCraft и Koda описывают продукты, которых больше нет. Оба вендора сменили модели под прежними именами: Яндекс 19 августа, Koda 17 сентября.

Правило для компании отсюда не зависит от вендора. В журнале каждой задачи должно стоять имя модели, которая реально работала, а не только агента.

Перемерить их честно на нашем наборе пока нельзя: новые модели вышли позже задач и могли видеть ответы при обучении. Перезамер ждёт свежего набора с починками после августа.

GigaCode от Сбера ищут 8 625 раз в месяц, SourceCraft Code Assistant — 730 (Wordstat, 4 октября). На РуБенче GigaCode нет.

Агент GigaCode для терминала продают только организациям, и снаружи его не запустить. Облачный агент на GitVerse устроен иначе, его мы ещё не мерили.

Компания, которая ставит GigaCode в контур, получает данные в РФ и цену в рублях. О качестве ей остаётся судить по словам вендора или своему замеру.

Отсюда первое правило: до покупки мест попросите вендора прогнать агента на ваших закрытых задачах. Или прогоните сами по пяти шагам из последней главы.

Если часть кода всё-таки можно отдать наружу, как компании из РФ подключить Claude Code, разобрано в статье про Claude Code для команды.

Самый закрытый вариант — свои серверы, тогда код не выходит из сети компании. Туда ставят коробку вендора, как GigaCode или Koda, или открытую модель, которую можно скачать самим.

Открытые модели для кода — это GLM, Qwen и DeepSeek, а из российских GigaChat 3.5, которую Сбер выложил в июле. Ей тоже нужен сервер с восемью видеокартами.

Локальных моделей в РуБенче нет, каждый агент работал через облако вендора. Ближе всего Koda: в июле её koda-pro стояла на открытой GLM 5.2 с дообучением и решила 51,5 % против 75,8 % у лидеров.

Свежая открытая модель отстаёт меньше. На бенчмарке DeepSWE, где все модели работают в одном агенте, GLM-5.3 решает 69 %, а Claude Opus 5 и GPT-6 Astra — по 74 %.

Но агент вокруг модели значит не меньше. Превью Gemini 3.1 Pro закрывает 12 % задач DeepSWE в простом общем агенте и 47,2 % у нас в Antigravity от Google.

Рейтинг агентов Artificial Analysis меряет пары целиком, и там открытая пара отстаёт заметнее.

Железо для большой открытой модели — отдельные расходы. GLM-5.3 в облегчённом формате встаёт на один сервер с восемью видеокартами H200, а цена Koda их аренду не включает.

Своя модель — это не бесплатная копия Claude. Это отдельный проект: серверы с видеокартами, человек, который их ведёт, и свой замер качества.

Выбор «весь код внутрь или весь наружу» ложный. Контур можно провести по коду, а не по компании.

Внутри остаются модули рядом с данными клиентов, платежами и ключами доступа. Сайт, внутренние панели и тесты можно отдать сильнейшему агенту, если позволяет политика.

Наша подписка на агентную разработку работает той же машиной, что строит этот сайт, на Claude Code и Codex. Если компания запрещает отдавать им любой код, подписка вам не подходит.

Если часть кода отдать можно, начните с теста для руководителя: десять вопросов, уровень команды и три шага на неделю.

1. Контур стоит качества. На одних задачах лучший российский агент июля решал как младшая модель Claude. Называйте эту цену числом, когда решаете про контур.

2. Имя агента — не модель. Пишите модель в журнал каждой задачи: вендоры меняют её без предупреждения.

3. У GigaCode и у модели на своих серверах нет открытых замеров на вашем коде. До покупки прогоните агента на своих задачах.

4. Своя модель — отдельный проект. Закладывайте в бюджет сервер с видеокартами и человека, который его ведёт.

5. Контур проводят по коду, а не по компании. Где его провести, подскажет тест для руководителя.