Эмбеддинги длинных документов съезжают с GPU на процессор: Liquid AI выложила LFM2.5-Encoders

28 июля Liquid AI выложила на Hugging Face семейство энкодеров LFM2.5. Заявка одна: длинный контекст, считать на обычном CPU. Замеры скорости, размеры моделей и лицензия - в самом посте компании.

Почему это важно: Хочешь искать по своим документам - держи сервер с GPU или плати за чужой API: так это работало до сих пор. Теперь Liquid AI зовёт считать то же самое на процессоре, который у тебя уже оплачен. Если обещание держится на реальной длине документов, а не на коротких отрывках, меняется арифметика хостинга: слой поиска съезжает с видеокарты. Насколько именно быстрее - проверять по замерам, а не по анонсу вендора о самом себе.

Что дальше: Возьми свой корпус, прогони эмбеддинги LFM2.5 на CPU-инстансе и сравни латентность и месячный счёт с текущим GPU. Мерить на своей длине документов, а не на демо-отрывках.