18 ноября 2026 г.
Qwen3.8-Flash-Next: большую модель запустили на MacBook с 32 ГБ памяти
В замере Hugging Face от 18 ноября модель на 180 млрд параметров работала на MacBook M5 с 32 ГБ памяти.

Qwen3.8-Flash-Next выдавала 13,9 токена в секунду на MacBook M5. Целиком загружать её в память не понадобилось.
Эксперты с диска. У этой MoE-модели 48 слоёв, в каждом работают 10 из 512 экспертов. Эксперты — части модели, которые обрабатывают конкретный запрос. Реализация подгружает нужные части с SSD и держит их в ограниченном кеше.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Исходные эксперты занимают 121 ГБ в FP8. Тарек Зиаде совместил их сжатие и подгрузку с диска, чтобы запускать большую модель при нехватке оперативной памяти. Это способ запуска нейросетей локально, а не отдельный чат-сервис.
Первый вариант на том же ноутбуке генерировал 10 токенов в секунду. После доработок скорость приблизилась к Strata 0.1.60. В замере от 18 ноября thinking, MTP и speculative drafts были выключены.
| Задача | Первый вариант Transformers | Доработанный Transformers | Strata | | --- | --- | --- | --- | | Генерация ответа | 10 токенов/с | 13,9 токена/с | 14,8 токена/с | | Обработка промпта на 4 тысячи токенов | 68 токенов/с | 228 токенов/с | 220 токенов/с | | Генерация после документа на 6 тысяч токенов | 7,3 токена/с | 12,4 токена/с | 13,7 токена/с |
После загрузки процесс занимал около 18 ГиБ памяти. На промпте в 6 тысяч токенов расход достигал 25,4 ГиБ. Автор закрывал браузер, иначе macOS начинала переносить данные из памяти на диск.
Запуск готовых весов. На Apple silicon нужен Python 3.10 или новее. В каталоге репозитория moe-expert-streaming команда `pip install -e .` установит пакет и подтянет Transformers из ветки PR #50717. Затем через `snapshot_download` скачивается `tarekziade/Qwen3.8-Flash-Next-expert-streaming`, а модель загружается вызовом `load_qwen38(path, cache_gib=12, dense_bits=8)`.
Готовый checkpoint содержит общие веса BF16 на 9,2 ГБ и трёхбитные эксперты на 49 ГБ. Ещё 48 ГБ занимает n-gram-таблица FP8, которую реализация читает с диска построчно.
Для самостоятельной конвертации предусмотрена команда `python scripts/convert_fp8.py /path/to/qwen38 --bits 3`. Она скачивает около 130 ГБ и записывает около 105 ГБ. По README автора от 18 ноября обработка занимает примерно 5 часов и поддерживает продолжение после остановки.
Самый быстрый вариант автора использует общие веса GGUF и эксперты Strata. Для него задаются `gguf_dense="/path/to/...-00001-of-00002.gguf"` и `gguf_experts=True`, а рядом с весами нужен созданный Strata файл `.experts`.
В draft PR #50717 от 13 ноября Зиаде обозначил реализацию как написанный ИИ прототип, который перед включением в Transformers потребуется переписать.
Первоисточник