5 ноября 2026 г.
Astra сократила зацикливание Qwen без дообучения: изменила 0,016% весов
В эксперименте MIT CSAIL от 2 ноября Astra изменила 131 072 веса небольшой Qwen, чтобы та реже застревала в рассуждениях.
Исследователи поручили ИИ-агенту для кода исправить саму Qwen3.5-0.8B. Вместо дообучения Astra написала правку весов — чисел, которые определяют поведение нейросети. Она использовала инструменты и пробные запуски модели.
Меньше зацикливаний. До правки Qwen исчерпывала лимит в 32 768 токенов на 93% ответов в математическом тесте MATH-500. После правки доля снизилась до 33,1%, а число правильных ответов выросло с 7,9% до 48,1% при одинаковых настройках генерации. Модель стала чаще доводить решение до ответа.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Astra внесла изменения в два слоя Qwen без градиентного спуска, которым обычно подбирают веса при обучении. Лучший запуск через Codex CLI с отдельной программой для проверок занял 20,3 часа и 158 ходов агента. На Gemma 3 270M без выраженного зацикливания исследователи установленного улучшения не получили.
В отдельном опыте Astra определила по весам, для какой игры обучили каждую из четырёх маленьких нейросетей. Названия игр ей заранее не сообщали. Каждая сеть содержала 17 253 веса.
Исправленная модель доступна. Авторы опубликовали RikiyaT/Qwen3.5-0.8B-weight-space-programming на Hugging Face с примером запуска через vLLM и `enable_thinking=True`. Для сравнения с исходной Qwen есть браузерное демо, для воспроизведения правки — логи, оценки и скрипт восстановления весов.
Источники: [логи экспериментов и код правки](https://github.com/RikiyaT/lm_understand-logs), [исправленная Qwen и пример запуска](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming).
Ахсен Халик воспроизвёл результат исправленной Qwen: она решила 51% задач MATH-500 в прогоне с четырьмя генерациями на задачу.
Первоисточник