Nunchaku встроили в Diffusers: 4-битные диффузионные модели запускаются штатным пайплайном

23 июля в блоге Hugging Face вышел разбор интеграции: 4-битный инференс Nunchaku теперь доступен прямо в Diffusers. Квантованная модель поднимается тем же пайплайном, что и обычная, без отдельного пути запуска. Замеры скорости и памяти - в самом посте.

Почему это важно: Раньше 4-битная диффузия жила сбоку: свой движок, свой код загрузки, своя возня со сборкой под железо. Теперь это ветка внутри библиотеки, которой практики и так грузят диффузионные модели. Для того, кто крутит генерацию картинок на одной потребительской карте, меняется главное: 4 бита перестают быть отдельным проектом и становятся флагом в привычном коде. Цифры прироста и потери качества в заголовке анонса не обещают - их надо смотреть в посте и проверять на своей модели.

Что дальше: Взять свою диффузионную сборку, прогнать её через Nunchaku-путь в Diffusers и сравнить с текущей fp16-версией по трём числам: пиковый VRAM, время шага и глазная проверка качества на десятке промптов.