Агентную модель можно поставить на своё железо: Granite 4.2 от IBM весит 5,3 ГБ

IBM выпустила Granite 4.2 25 августа в трёх размерах: 3B, 8B и 30B. Веса открыты под Apache 2.0, коммерческое использование идёт без роялти.

Железо под каждый размер. 3B весит 2,2 ГБ и тянется на ноутбуке на кванте Q4_K_M. 8B занимает 5,3 ГБ и просит одну современную видеокарту. 30B весит 18 ГБ и живёт на карте класса A100 или H100 либо раздаётся в FP8 через vLLM.

Агентную выучку прошли не все. Дообучение на агентных задачах досталось только 8B и 30B: SWE-агент в OpenHands с прогоном скрытых тестов, терминальный агент в Terminus-2 с лимитом 64 хода, поисковый агент с живыми запросами в веб. Агентные данные заняли 31,6% обучающего микса. 30B берёт 57,00 на SWE-Bench Verified, 8B даёт 47,67, у 3B результата на этом бенче нет вовсе.

На лёгких вопросах модель можно попросить думать коротко. Режимов рассуждений три: thinking, non-thinking и low-effort с урезанным бюджетом рассуждений. Переключатель стоит прямо в chat template, флагом `enable_thinking`. Окно инференса заявлено на 131 072 токена.

Забрать модель можно из 12+ мест: Hugging Face, Ollama, LM Studio и ещё девять каналов вплоть до watsonx. Кванты разложены от FP8 до GGUF Q2_K, тег вида `granite4.2:8b-q8_0` выбирает нужный.

Веса лежат открыто с 25 августа, дальше слово за сторонними замерами.