Модель на 27 млрд параметров идёт в телефоне без интернета: на iPhone 18 Pro вдвое быстрее 17 Pro

Большая модель больше не требует облака: она помещается в память телефона и работает хоть в самолётном режиме.

Почему влезло. В обычном виде Bonsai 27B занимает 54 ГБ памяти. Сжатая до одного бита на вес сборка держит 3,9 ГБ, в 14,2 раза меньше исходной.

Что поменялось в железе. Раньше ту же модель гоняли на iPhone 17 Pro. Теперь Apple поставила в A20 Pro два блока по 16 ядер Neural Engine и 12 ГБ памяти LPDDR5X с пропускной способностью 115,2 ГБ/с, на 50% больше прежней. Гронден показал вдвое более быстрые ответы.

Авторы Bonsai заявляют 11 токенов в секунду на iPhone 17 Pro Max: это скорость неспешного чтения вслух.

Как повторить. Тест шёл в бесплатном приложении Locally AI, которое добавило Bonsai 27B в версии 1.62.0 от 14.07.2026. Нужен iOS 18.1 или новее. Тем, кто работает в терминале на Mac, авторы модели дают две команды mlx-lm.

Чем платим за сжатие. Однобитная сборка держит 89,5% качества исходной модели в среднем по 15 бенчмаркам, на коде проседает сильнее. На базовом iPhone 17 с 8 ГБ памяти независимый разбор намерил 9,0 токена в секунду, а при долгой нагрузке скорость падала на 20–45%.

iOS отдаёт одному приложению примерно половину памяти устройства, на 12 ГБ это около 6 ГБ. Более точная тернарная сборка весит 5,9–7,05 ГБ и на телефон уже не помещается.

Тернарная сборка точнее однобитной на пять процентных пунктов и ждёт телефонов с большим запасом памяти.