13 ноября 2026 г.
Qwen3.5-0.8B стала лучше решать математику: Astra изменила 0,016% весов
В эксперименте MIT CSAIL от 2 ноября GPT-6 Astra исправила веса маленькой Qwen без дообучения.
После правки Qwen3.5-0.8B решила 48,1% задач MATH-500 вместо 7,9%. Astra искала изменение весов без градиентов и обучения.
Меньше зацикливаний. Исходная модель на 93% задач MATH-500 исчерпывала лимит в 32 768 токенов. После правки доля таких ответов снизилась до 33,1%. Исследователи проверяли обе версии с одинаковыми настройками генерации.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Astra убрала связанное с зацикливанием направление из 64 выходных столбцов MLP в слоях 15 и 19. Она затронула 131 072 веса, около 0,016% модели. На GSM8K результат вырос с 13,8% до 67,1%, на проверке следования инструкциям IFEval с 21,0% до 62,3%.
Исследователи ограничили бюджет проверки 50 прямыми проходами модели. Поиск занял 158 ходов, 80 запусков Python и 20,3 часа, включая 4,7 часа ожидания недоступной модели.
Готовая модель опубликована. Исправленные веса доступны на Hugging Face под именем `RikiyaT/Qwen3.5-0.8B-weight-space-programming`. В карточке есть пример запуска через vLLM и демо, где можно ввести задачу и сравнить ответы исходной и исправленной Qwen без установки.
Для повторения настроек эксперимента авторы указали: - `enable_thinking=True`; - `temperature=0.6`; - `top_p=0.95`; - `top_k=20`; - `presence_penalty=1.5`; - `max_tokens=32768`.
Саму правку можно восстановить из опубликованных изменений. Скрипт `exp8_math/code/apply_edit.py` собирает исправленные тензоры из исходных весов Qwen и проверяет SHA-256. Ахсен Халик воспроизвёл исправленную модель и получил 51,0% на MATH-500: 2000 генераций заняли 51 минуту на NVIDIA H200.
На Gemma 3 270M без выраженного зацикливания аналогичная попытка дала 7,0% вместо 6,8% на MATH-500, без установленного улучшения.
Первоисточник