Clover-35B-A3B заработала на Mac с 64 ГБ: 42 токена в секунду

Clover от DiffuSpace собирает ответ блоками, а не токен за токеном, и до этой недели её держали только NVIDIA-карты примерно на 69 ГБ памяти. Теперь локальные паки под Mac собирают сторонние люди, а не вендор.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Сборка на 29,4 ГБ. Веса сжали до 6 бит, часть тензоров оставили в BF16, инференс идёт через MLX на Apple GPU. Шесть прогонов длинной генерации дали в среднем 42,46 tok/s против 40,05 до последней правки. Загрузка модели занимает 124 секунды и в скорость генерации не входит.

Качество не сошлось. На своих 40 задачах по коду и пересказам быстрая сборка прошла 21, починенный кандидат 32, осторожный 35, а пересказы оценивала модель, не человек. В провалах битый Python, неверные типы возврата и пересказ, вывернувший запрет наизнанку.

Готовый путь короче. На Apple Silicon Clover уже поднимается одной командой `kapitsa serve --model clover`: 4-битный пак весит 19,5 ГБ. На MacBook Pro M5 Max это 319–332 tok/s в режиме auto и 46 tok/s в чистой диффузии.

Для машин поменьше есть GGUF-пак на 19,0 ГБ, но mainline llama.cpp Clover не грузит. Нужен билд из ветки dev-clover, и на MacBook M1 Pro с 32 ГБ он даёт 21,4 tok/s при 16,4 ГБ занятой памяти.

Официальные GGUF ждут мерджа PR #31306 в llama.cpp, до него Metal-путь живёт на патченных сборках.