31 октября 2026 г.
GPT-6 Astra годится не под каждую задачу: первая в рефакторинге, пятая в тестах
Общий рейтинг не говорит, что брать: в рефакторинге Astra первая, а в написании тестов пятая.
Семьдесят задач рефакторинга из десяти продакшн-репозиториев GPT-6 Astra разбирает лучше всех: 59,05 на SWE Atlas.
Первая строка сводного сравнения не отвечает на главный вопрос практика, под какую работу звать модель. Автор разбора разложил 12 досок Scale AI SEAL по типам проектов и получил карту сильных и слабых мест.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Куда звать. Astra сильнее там, где надо разобраться в уже написанном коде. В рефакторинге она первая, в разборе незнакомой кодовой базы третья с 59,14. Её 96,90 на SWE-Bench Pro V2 Full дают пятую строку, впереди Opus 5, Gemini 4 Argon и ещё два флагмана.
Тесты мимо. Автотесты на той же сюите у Astra слабее: 50,74 против 67,04 у Fable 5.1. Разрыв в 16 пунктов на одной доске, поэтому под тесты автор советует Fable 5.1.
Автономная работа за деньги упирается в приёмку. На Remote Labor Index Astra вторая, но профессиональную планку прошли 20,83% её сдач.
Строка Astra в разборе кодовой базы помечена звёздочкой. Часть попыток упёрлась в security-фильтры и засчитана нулями, так что 59,14 занижены на неизвестную величину. Проценты разных досок между собой не складываются, метрики у них разные (срез лидербордов SEAL на 1 ноября).
Отставание Fable 5.1 в рефакторинге составляет 2,4 пункта, и доверительные интервалы обеих строк перекрываются.
Первоисточник