llama.cpp v1.0.0: несовместимые обновления теперь можно отличить по номеру версии

llama.cpp запускает модели локально и поднимает сервер с OpenAI-совместимым API для приложений. Теперь разработчики интеграций получают явное правило обновлений: MAJOR означает несовместимость, MINOR добавляет совместимые возможности, PATCH исправляет ошибки без изменения API.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Запуск на компьютере. На macOS и Linux установка выполняется командой `curl -LsSf https://llama.app/install.sh | sh`. Затем `llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M` запускает локальный сервер с веб-интерфейсом и указанной моделью.

Для другой GGUF-модели готовые команды доступны в её карточке Hugging Face через Use this model → llama.cpp. Для запуска через графический интерфейс команда предлагает Llama, бесплатное open source приложение с загрузками для Mac и Windows 11.

Обновление существующих приложений. В v1.0.0 разработчики удалили из llama.h 35 устаревших функций, а также llama_set_warmup и параметр defrag_thold. Из командной строки исчез флаг `--defrag-thold`.

Для приложений, которым нужны ответы по заданной JSON-схеме, парсеры qwen3-coder/deepseek/ministral3, Muse Spark и gemma4 теперь учитывают `response_format`. Сервер также преобразует JSON-схемы из `text.format` в запросах Responses.

Для KV cache команда добавила формат FP8: тип `f8_e4m3` задаётся через `-ctk` и `-ctv`. При необходимости можно указать статические масштабы для каждого тензора.

К релизу llama.cpp поддерживает свыше 150 вариантов архитектур моделей и, по заявлению команды, все основные методы speculative decoding.