новости/14 июля 2026 г.
23:01SlopCodeBench намерил у кода AI-агентов 2,3x многословности и 5-7x деградации
источник: @sdrzn на X ↗·
машинная выжимка · сверена с источником
Saoud Rizwan
@sdrzn
Узнал про SlopCodeBench - бенчмарк того, как код-агенты постепенно превращают кодовые базы в слоп. Вместо одиночных задач как в swe-bench, агент получает несколько задач одну за другой, так что например плохие архитектурные решения в начале ведут к худшим результатам в поздних задачах. По сравнению с 473 написанными людьми python-репозиториями, код агентов: - в 2,3 раза многословнее (избыточен) - в 2 раза сильнее эродирован - деградирует в 5-7 раз быстрее с каждым изменением, чем у людей за их git-историю теперь мы анти-слоп инженеры
· 679 просмотров
SlopCodeBench проверяет, как AI-агенты постепенно превращают кодовую базу в слоп: даёт задачи цепочкой, где ранняя плохая архитектура портит результаты поздних задач. На 473 python-репозиториях, написанных людьми, код агентов вышел в 2,3 раза многословнее, в 2 раза сильнее эродирован и деградирует в 5-7 раз быстрее с каждым изменением.
Почему это важно: swe-bench меряет разовую задачу, SlopCodeBench - цепочку из нескольких подряд. Так виден накопленный эффект: кривое решение в начале тянет вниз все следующие правки. Для практика это про длинные сессии с агентом - код пухнет и эродирует быстрее, чем у человека по git-истории. Бенчмарк новый, из твита не ясно, публичен ли он и на каких моделях гонялся.
Что дальше: Проверить, выложен ли SlopCodeBench в открытый доступ и раскрыта ли методология - в твите ссылок нет. Практику - пересматривать длинные agent-сессии на разбухание и рефакторить чаще.