24 сентября 2026 г.
ИИ в умных очках работает локально: Bonsai заняла 0,43 ГБ на Snapdragon
24 сентября PrismML показала 1-bit Bonsai, который работает локально на умных очках с Snapdragon AR1 Gen 1: веса модели заняли 0,43 ГБ вместо 1,66 ГБ у 4-bit версии. В замере Qualcomm, опубликованном PrismML 23 сентября, 1-bit Bonsai 1.7B генерировал 15,36 токена в секунду против 7,44 у 4-bit модели. Демо с обработкой изображения соединяет языковую модель на 1,7 млрд параметров и кодировщик изображений на 0,3 млрд.
На платформе с 4 ГБ памяти и чипом на 6 TOPS PrismML тестировала контекст в 1 024 токена. 1-bit версия заняла на 74% меньше памяти, а её скорость выросла в 2,06 раза. PrismML затачивала веса и архитектуру под Qualcomm Hexagon NPU.
Локальный старт. Для общедоступных Bonsai доки предлагают клонировать Bonsai-demo, выбрать BONSAI_FAMILY и BONSAI_MODEL, затем запустить `./setup.sh` и `./scripts/run_llama.sh`. Эта инструкция относится к публичным моделям, не к VLM из демо для очков. Доступный Bonsai 1.7B 1-bit весит 0,25 ГБ и распространяется под Apache-2.0.
PrismML хочет довести модели с открытыми весами до устройств, которые используют уже доступную вычислительную мощность.
Первоисточник
