Granite 4.2 крутится на ноутбуке одной командой: младшая модель IBM весит 2,2 ГБ

IBM выложила 25.08.2026 три плотные модели на 3B, 8B и 30B под лицензией Apache 2.0. Контекст нативно 131 072 токена, на пятой фазе претрейна его растянули до 512K. Веса открыты, значит гонять их можно у себя.

Как поставить. В Ollama модель поднимается командой `ollama run granite4.2:8b`. Дефолтный тег восьмёрки качает 5,3 ГБ в квантовке Q4_K_M, версия 3B занимает 2,2 ГБ, 30B вырастает до 18 ГБ. Через transformers ставятся `torch`, `accelerate` и `transformers`, веса лежат по путям `ibm-granite/granite-4.2-3b`, `-8b` и `-30b`. Для сервера IBM показывает vLLM: `vllm serve ibm-granite/granite-4.2-8b --dtype bfloat16 --max-model-len 131072 --reasoning-parser granite_thinking_parser --tool-call-parser qwen3_coder --enable-auto-tool-choice`.

Думать или не думать, решает аргумент шаблона чата. `enable_thinking=True` включает рассуждения, `False` их выключает, пара `enable_thinking=True, low_effort=True` даёт короткий бюджет размышлений на лёгких вопросах.

Железо распределяется по размерам: 3B крутится на ноутбуке через Ollama или LM Studio, 8B помещается на одну современную GPU, для 30B нужна A100 или H100 либо квантованный вид. В наличии FP8, NVFP4, MXFP4 и GGUF от Q8_0 до Q2_K.

Раньше и теперь. Granite-4.1-8B-Base дала базу восьмёрке: её пост-тренировали из прошлой версии. Агентный RL по цепочке SWE, Terminal, Search достался только 8B и 30B, до 3B он не дошёл.

Числа вендорские. Замеры приводит сама IBM, сторонних прогонов пока не публиковали:

- SWE-Bench Verified: 57,00 у 30B, 47,67 у 8B - SWE-Bench Pro 33,29 и Multilingual 41,89 у 30B - Terminal-Bench 2.1: 29,24 у 30B против 20,56 у 8B - AIME25: 89,17 у 30B, 86,67 у 8B, 78,33 у 3B - MMLU-Pro: 77,60 / 74,04 / 67,84 по трём размерам - RULER на 128K у 30B: 81,38