15 октября 2026 г.
Granite Switch 4.1: чат и решения на одном сервере, без второго
14 октября IBM выпустила Granite Switch 4.1 в двух размерах, 8B и 30B: один endpoint отдаёт чат, решения и проверку безопасности. Веса открыты на Hugging Face под Apache 2.0, а речевой энкодер на 470 миллионов параметров встроен в модель.
Решения и проверку безопасности теперь не нужно поднимать вторым сервером: режим задаётся параметром в запросе. Без параметра идёт обычный чат, параметр adapter_name со значением decision отдаёт решения, guardian-core проверяет безопасность. Речь встроена: транскрипт заменяет аудио в контексте чата, демо Speech to Decisions лежит в HF Space.
Установка. Для сервера ставят pip install granite-switch[vllm], затем запускают vllm serve ibm-granite/granite-switch-4.1-8b. Требования расходятся: репозиторий просит Python 3.11+ и vLLM 0.26.x–0.30.x, карточка 8B указывает Python 3.9+ и vLLM 0.26.0–0.28.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
У 8B общий балл Decision Index 42,9 из 100, у 30B 50,1, в разделе Tools 59,8 и 76,5. Это оценка вендора на публичном поднаборе v0.3. Decision в vLLM работает до 128 вариантов на запрос, а результат сам вендор называет предварительной оценкой, не сертифицированной классификацией.
Скорость. Вендор заявляет 60–100 решений в секунду на один endpoint, у конкурента в сравнении блога 10. Обзор Unite.AI относит эту цифру к кастомной модели на 3B, а не к 8B и 30B из релиза.
Первый независимый замер скорости и качества решений пока не опубликован.
Первоисточник