5 сентября 2026 г.
Проверка кода на дыры ускорилась вчетверо: Astra прошла бенчмарк Vercel за 49 минут
GPT-6 Astra возглавила зачёт Vercel по поиску уязвимостей: 37,79 балла за 49 минут против 35,44 за 3 часа 39 минут у Sol.
Guillermo Rauch
@rauchg
Astra теперь лучшая в мире модель по кибербезопасности — по версии DeepsecBench от @vercel. Она делает за 49 минут то, на что у Sol уходило около 4 часов, набирает больше баллов и стоит почти столько же. Она эффективнее Claude Opus 5 max и вдвое дешевле. https://vercel.com/ai-gateway/leaderboards/deepsecbench
· 9,5 тыс. просмотров
Одна кодовая база, 231 спрятанная уязвимость. Sol искала их 3 часа 39 минут, Astra управилась за 49 минут и набрала больше баллов.
Скан безопасности перестал занимать ночь. На том же прогоне Astra стоит $63,70 против $55,98 у Sol — плюс 14% к счёту за вчетверо меньшее время.
Верх лидерборда. Максимальный режим размышлений, медиана трёх прогонов:
- GPT-6 Astra (xhigh): 37,79 балла, $63,70, 49 минут - GPT-5.6 Sol (xhigh): 35,44 балла, $55,98, 3 часа 39 минут - Claude Opus 5 (max): 32,44 балла, $127,93, 2 часа 34 минуты
На среднем режиме разрыв тает. Astra набирает 29,33 против 28,25 у Opus 5, а платить приходится $35,20 против $31,96. Выигрыш остаётся во времени: 21 минута против 47.
Раньше верх зачёта держала Sol: точность выше всех, но почти четыре часа ожидания. Opus 5 в максимальном режиме считал дольше двух с половиной часов и стоил вдвое дороже обоих.
Поставить у себя. Сканер, которым меряют модели, лежит открытым: `npx deepsec init` в корне репозитория заводит папку `.deepsec` и сразу запускает разбор. Дальше `pnpm deepsec scan` ищет по паттернам бесплатно, `pnpm deepsec process` отдаёт кандидатов модели, `pnpm deepsec export --format md-dir --out ./findings` выгружает находки в файлы. Прерванный прогон продолжается повтором той же команды.
Модель и её цену мастер показывает прямо при установке. Расход держат флаги `npx deepsec init --max-cost-usd 100 --max-duration 2h`, и ограничитель тут не лишний: доки предупреждают, что скан большой кодовой базы уходит в тысячи долларов.
Вызовы моделей по умолчанию идут через Vercel AI Gateway, ключи провайдеров не нужны. Свой ключ OpenAI или Anthropic подключается флагом `--model-auth direct`, действующая подписка Claude или Codex тоже подходит.
Меряют на открытом репозитории в состоянии до заплатки: 50 входных файлов и 231 находка, размеченная людьми. Пропущенная дыра штрафуется вдвое сильнее ложной тревоги, из трёх прогонов берут медиану. Какой это репозиторий, Vercel не называет, чтобы он не попал в обучение моделей.
Пока Fable 5 отказывается от security-работы, Anthropic держится в этом зачёте одним Opus 5.
Первоисточник