4-битный инференс Nunchaku встроили в Diffusers: диффузионки грузятся штатным кодом библиотеки

23 июля Hugging Face объявила, что 4-битный инференс Nunchaku работает прямо в Diffusers. До этого квантованные диффузионные модели запускались через отдельный движок Nunchaku со своим API. Теперь тот же вес подключается штатным путём библиотеки.

Почему это важно: Раньше 4-битная генерация картинок стоила второго стека: свой рантайм, свои обёртки над пайплайном, свои несовместимости при обновлении Diffusers. Теперь это ветка внутри библиотеки, которой практик уже пользуется. Для тех, кто крутит генерацию на одной видеокарте, дельта простая: 4 бита вместо 16 снимают потолок VRAM, а код пайплайна остаётся прежним. Конкретные цифры ускорения и экономии памяти нужно смотреть в самом посте и проверять на своём железе: чужой замер на чужой карте вашим не станет.

Что дальше: Обновить Diffusers, прогнать свою модель в 4 битах и сравнить с fp16 по трём числам: время шага, пик VRAM и качество на десятке одинаковых промптов с фиксированным сидом.