Hy4 Preview: 770 миллиардов параметров теперь весят 214 ГиБ вместо 1,5 ТБ

Раньше 4-битный квант Q4_K_M весил 435 ГиБ при 4,86 бита на вес. Новый файл вдвое меньше при 2,38 бита.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Как сжато. Веса берутся группами по четыре, и каждое значение выбирается из трёх уровней: -d, 0 или +d. В группе ровно один ноль. Таких вариантов 32, и они укладываются в пять бит, то есть 1,25 бита на вес. Алгоритм Sherry описан в статье на arXiv с 12.01.2026, её приняли на ACL 2026.

Слои сжаты неодинаково. У модели 77 слоёв MoE, в каждом по 256 экспертов. В 48 чувствительных слоях экспертные проекции взяли IQ2_XXS, а в 29 менее чувствительных STQ1_0. По замеру квантователя при том же бюджете битов ошибка ниже, чем у IQ1_M на всех слоях.

Что нужно для запуска. Официального сервиса за этим нет: это файлы весов, которые запускаются у вас. На 31.08 архитектуры hyv4 не было в upstream llama.cpp, поэтому сначала примените патчи из папки hy4-preview-patch: git apply 0001-hyv4-architecture.patch, затем git apply 0002-stq1_0-quant-and-cuda.patch.

Платить за токены провайдеру не нужно, но нужна машина с большой памятью. Сторонний гайд называет минимум 256 ГБ памяти класса DDR5. Веса держите на локальном NVMe: по замеру гайда подкачка 200 ГиБ по NFS идёт около 12 МБ/с, и загрузка растягивается с минуты до часов.

По замерам квантователя поиск по длинному контексту (MRCR) почти не просел, а математика потеряла немного. Против UD-IQ1_M при похожем бюджете битов MIX-STQ1_0 выиграл во всех отчётных замерах, по MRCR больше чем на пять пунктов.

Скорость генерации целой модели на обычной машине в источниках не замерена: есть только тесты отдельных операций ядра.