9 октября 2026 г.
ИИ-агенты пишут код на уровне L3, а staff-уровень проверяет sudo L7 на 60 задачах
Surge выпустил бенчмарк sudo L7 9 октября: 60 задач, в основном из закрытых прод-репозиториев реальных компаний. Эксперты оценивают результаты по рубрикам, от функциональной корректности и дальше.
Lenny Rachitsky
@lennysan
Крутой новый бенчмарк от Surge о том, насколько ИИ приблизился к уровню staff-инженера в разработке ПО. Мы на полпути.
echen @echen
Представляем sudo L7, наш новый бенчмарк для уровня staff-инженера. Кодовые агенты стали очень хороши в роли L3: дайте им чёткую задачу, и они напишут отличный код. Но staff-инженер ценен всем, что происходит вокруг кода. Что строить? Что уже существует? Что сломается в проде? Что пропустили тесты? Стоит ли вообще это делать? В sudo L7 60 задач, в основном из закрытых прод-репозиториев реальных компаний, их писали инженеры, которые сами вели эти системы. Экспертные рубрики оценивают всё, от функциональной корректности…
· 20,8 тыс. просмотров
Агент с хорошо описанной заявкой пишет отличный код. Staff-инженер отвечает за остальное: что строить, что уже существует, что сломается в проде, что пропустили тесты и стоит ли делать задачу вообще. sudo L7 меряет именно это. По оценке автора твита, до staff-уровня ИИ прошёл примерно половину пути.
Следующий шаг: первые результаты моделей на sudo L7.
Первоисточник