Nunchaku встроили в Diffusers: 4-битный инференс диффузионных моделей идёт теперь штатным путём

23 июля 2026 Hugging Face объявила: 4-битный инференс Nunchaku работает прямо в Diffusers. Раньше это была отдельная история со своим кодом, теперь квантованный бэкенд подключается из стандартной библиотеки. Замеры скорости и памяти смотрите в самом посте по ссылке.

Почему это важно: Диффузия упирается в память: веса в bf16 занимают 16 бит на параметр, и большая модель просто не влезает в потребительскую карту. 4 бита против 16 - вчетверо меньше места под веса. До этой интеграции путь к 4-битной диффузии шёл мимо Diffusers, то есть мимо привычных пайплайнов, LoRA и планировщиков: приходилось держать отдельную ветку кода ради одной оптимизации. Теперь это один бэкенд внутри библиотеки, которая и так стоит у всех.

Что дальше: Прогнать свой пайплайн дважды на одном промпте и сиде: в bf16 и в 4-битном Nunchaku. Сравнить время шага, пик VRAM и картинку глазами - решение по качеству тут только своё.