Четырёхбитная LFM2.5 больше не глупеет от сжатия: 97% качества исходной модели

Liquid AI 19.08.2026 выложила четыре чекпоинта LFM2.5 в формате Q4_0, которые доучивали прямо под 4 бита. Каждый держит 96-97% качества своего BF16-исходника.

Раньше платили качеством. Сжатие до 4 бит роняло модель, и практики уходили на форматы потяжелее. Теперь Liquid AI закрывает разрыв между BF16 и Q4_0 на 70,6% у модели 230M и на 65,5% у 1.2B.

Файл LFM2.5-1.2B-Instruct в новом формате весит 696 МБ, полновесная BF16 занимает 2,34 ГБ. Младшие 230M и 350M дают качество уровня Q5_K_M и декодируют на 4-33% быстрее, старшие держат уровень Q4_K_M с выигрышем 3-14%.

Скорость мерили на четырёх машинах: MacBook Pro с M5 Max, мини-ПК NucBox EVO-X2, смартфоне Galaxy S26 Ultra и Raspberry Pi 5. Качество считали по GPQA Diamond, MMLU-Pro, IFEval и ещё трём наборам.

Сама LFM2.5-1.2B-Instruct несёт 1,17 млрд параметров и окно 32 768 токенов. Авторы советуют её для агентных задач, извлечения данных и RAG, а не для кода и вопросов на эрудицию.

Запуск одной командой. llama.cpp скачает нужный файл сам: `llama-cli -hf LiquidAI/LFM2.5-1.2B-Instruct-GGUF --hf-file LFM2.5-1.2B-Instruct-QAD-Q4_0.gguf -p "What is C. elegans?"`. Под другой размер меняется имя файла.

Без терминала модель открывается в LM Studio по ссылке `lmstudio://open_from_hf?model=LiquidAI/LFM2.5-1.2B-Instruct-GGUF`.