./новости · 23 июля 2026 г.
новость
Hugging Face встроил 4-битный инференс Nunchaku в Diffusers: квантованные модели идут штатным пайплайном
источник: @Hugging Face Blog на X ↗·
машинная выжимка · сверена с источником
Hugging Face 23 июля 2026 года объявил об интеграции Nunchaku в Diffusers: диффузионные модели инферятся в 4 битах через штатный API библиотеки. Nunchaku - движок 4-битного инференса для диффузионок, до этого живший отдельно от Diffusers. Список поддержанных моделей и замеры - в самом посте.
Почему это важно: Раньше 4-битный инференс диффузионной модели означал отдельный инструмент: поставить Nunchaku, собрать вокруг него свой пайплайн, тащить его параллельно с Diffusers. Теперь вызов идёт из той же библиотеки, где уже лежат остальные пайплайны, и квантованный прогон перестаёт быть отдельной веткой кода. Насколько 4 бита просаживают качество на конкретных чекпоинтах, из анонса не понять.
Что дальше: Взять свой рабочий чекпоинт и прогнать один и тот же промпт в обычной точности и в 4 битах. Сравнить время шага, пиковую VRAM и картинку - на своих промптах, а не на демо из поста.