Granite Switch 4.1.1: модель обновляют как зависимость, базовые 30 млрд не тронуты

IBM выложила патч 27.10 и обещает полную обратную совместимость с 4.1. Базовая модель не тронута, пересчитаны только новые адаптеры. Открытая модель начинает жить по правилам софта: номер патча, чейнджлог, бамп версии в зависимостях.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Поменялись два компонента. ASR granite-speech-5.0-470m-turboctc ошибается на английском в 5,51% слов против 5,78% у прежнего англоязычного релиза. Decision-адаптер из библиотеки granitelib-core-r1.0 набрал 51,33 по шкале до 100 на Decision Index v0.3, где overall взвешен с поправкой на угадывание: инструменты 69,0, поиск 59,8, язык 58,5, знания 34,8, arts 25,9.

Базовый Granite Switch вышел 15.10 в двух размерах, 8 и 30 млрд параметров, и держит в одном эндпоинте три компонента: Decision aLoRA, Guardian aLoRA и ASR. IBM пишет, что связка занимает на GPU примерно столько же VRAM, сколько сама базовая модель. aLoRA переиспользует KV-кэш базовой генерации, поэтому IBM заявляет 60–100 решений в секунду против 10 у сравниваемого решения.

Раньше и теперь. Раньше свежая версия открытой модели означала новые веса на десятки миллиардов параметров и перекачку всего. Теперь IBM переобучила ASR на 470 млн параметров за 24 дня на восьми H100 и оставила 30 млрд базы на месте.

Как поставить. pip install "granite-switch[vllm,audio]>=0.1.1", затем python -m vllm.entrypoints.openai.api_server --model ibm-granite/granite-switch-4.1-30b --port 8000. Нужны Python 3.11–3.13, PyTorch 2.11+, transformers 5.16–5.17 и vLLM 0.26–0.30. Лицензия Apache 2.0, квантованные сборки лежат в llama.cpp, Ollama и LM Studio. Свой набор адаптеров собирают композером из библиотек granitelib-core, granitelib-rag и granitelib-guardian.

IBM готовит Adapter SDK, чтобы сторонние адаптеры версионировались отдельно от базовой модели.