Большую модель можно поднять на своём Mac: DeepSeek V4 Flash заводится от 48 GB памяти

Машина стоит под столом, стойки с видеокартами рядом нет. На M5 Ultra он прогнозирует больше 120 токенов в секунду.

Порог входа в локальные модели оказался ниже флагманской конфигурации: чтобы попробовать, 512 GB памяти не нужны.

Как поставить. Готовые 4-bit веса DeepSeek V4 Flash под MLX качаются одной командой `hf download mlx-community/DeepSeek-V4-Flash-4bit --local-dir mlx-ckpt`, на диске это около 155 GB. Дальше `./scripts/serve.sh` поднимает REPL, а `./scripts/serve-http.sh` отдаёт HTTP по схеме OpenAI. Минимальный вход начинается с 48 GB unified memory: эксперты подтягиваются с SSD, декод держит 4,5–5 токенов в секунду.

Ещё один шаг перед первым запуском: потолок памяти для Metal поднимается командой `sudo sysctl iogpu.wired_limit_mb=<значение>` и сбрасывается в 0 после каждой перезагрузки.

Что не влезает. Kimi K2.6 в 512 GB не помещается: нативный INT4 после QAT весит около 594 GB. Комьюнити запускает её на паре Mac Studio по 512 GB каждый и получает 1–7 токенов в секунду.

Сама планка 512 GB не новая. Mac Studio на M3 Ultra продавался с такой памятью ещё в марте 2025: Дэйв Ли, известный как Dave2D, крутил на нём DeepSeek R1 671B в 4-bit и снимал 17–18 токенов в секунду при потреблении меньше 200 Вт.

Mac Studio на M5 Ultra стартует с $5 499 и 96 GB памяти, предзаказ открылся 25 августа, поставки идут с 22 сентября. Конфигурации на 512 GB в предзаказе нет, потолок в продаже сейчас 256 GB, а апгрейд с 96 GB до 256 GB стоит $4 000.