LFM2.5-24B-A2B: агентная модель на своём железе, вендор заявляет 184 токена в секунду

Главное отличие от LFM2-24B-A2B: новая модель сначала пишет явную цепочку рассуждений и только потом отвечает. Она дообучена вызывать инструменты и вести многошаговые агентные обвязки. Контекст вырос с 32 768 до 131 072 токенов, предобучение с 17 до 33 триллионов токенов.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

В модели 40 слоёв и 64 эксперта, на каждый токен роутер выбирает четыре.

Скорость. Aiweekly получил 114 токенов в секунду на AMD Ryzen AI Max+ 395, квантование не указано. Цифра 21 000 токенов в секунду на NVIDIA B300 получена в серверном замере при высокой параллельности (SGLang, BF16): это про дата-центр, а не про стол.

Против Qwen. По данным вендора, модель обходит Qwen3.6-35B-A3B в AutomationBench (27,69 против 8,72) и LiveClaw (48,09 против 38,19). В IFEval разрыв мал: 96,75 против 93,06. В MATH-500 модель проигрывает: 96,04 против 96,73.

Цена. В блоге API стоит $0,10 за миллион входных токенов, $0,05 за кэшированные и $1,00 за миллион выходных, стартовый кредит $2 в Liquid Console. Статья aiweekly пишет, что карточка модели цену хостед-API не раскрывает, так что эту цифру стоит перепроверить.

Запуск. Веса лежат на Hugging Face под именем LiquidAI/LFM2.5-24B-A2B. Сервер на vLLM поднимается командой `vllm serve LiquidAI/LFM2.5-24B-A2B` после `pip install vllm`. Для Mac есть MLX 4-bit, для llama.cpp GGUF Q4_K_M, а одной командой запускается `docker model run hf.co/LiquidAI/LFM2.5-24B-A2B`.

Рекомендованные настройки генерации вендора: temperature 0,1, top-k 50, repetition penalty 1,05.

Лицензия. Веса открыты, модель можно гонять у себя. Условия лицензии вендор публикует отдельно.

Дальше ждём сторонний замер скорости на Apple M5 Max и сверку цены API, которую источники дают по-разному.