21 октября 2026 г.
Bolmo 7B: модель читает байты вместо токенов, переделка стоила меньше 1% предобучения
Исследователи Ai2 во главе с Бенджамином Минихофером переделали готовые открытые модели в побайтовые на 49,1 млрд токенов, меньше 1% бюджета предобучения. Статья о методе вышла в Nature 7 октября 2026 года, а препринт висит на arXiv с 17 декабря 2025.
Субсловные модели режут текст на токены, и на коде или биологических последовательностях это прячет мелкие детали. Байтовые модели от этого свободны, но, по словам авторов, раньше заметно уступали по качеству.
Bolmo 7B, по данным статьи, обошёл BLT 7B, прежнюю байтовую базу, на 16,5 пункта в STEM-задачах, а общие бенчмарки держит близко к исходной модели. Размер почти не менялся: плюс 4,5% у Bolmo 7B и минус 0,7% у Bolmo 1B.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Цена за байтовость. По замерам блога Ai2 Bolmo декодирует около 125 байт в секунду, а субсловная модель того же класса около 150, то есть на 17% медленнее. Статья называет такую скорость практичной.
Как попробовать. Веса лежат на Hugging Face: allenai/Bolmo-7B, allenai/Bolmo-1B, allenai/Bwen-8B на базе Qwen3 8B и allenai/Llama-3-Blama-8B на базе Llama 3 8B. Загрузка идёт через AutoModelForCausalLM.from_pretrained с флагом trust_remote_code=True. Полный репозиторий bolmo-core ставится тяжелее: нужны Python 3.12.12, flash-attn, TransformerEngine, xlstm и Liger-Kernel. Лицензия Apache 2.0, поэтому веса можно гонять у себя.
Следующая веха: независимые замеры на коде и научных данных, их пока нет ни в статье, ни в блоге Ai2.
Первоисточник