Flint: открытая модель для кода на MacBook Pro M4 Pro выдаёт больше 125 токенов в секунду

Важнее другое: модель такого размера запускается на ноутбуке.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Как собрали. Flint построила Eureka Machine, собственная система Recursive для исследований. По блогу компании она участвовала почти на каждом шаге: от данных и оптимизаторов до инфраструктуры и инференса. Всё это заняло меньше четырёх месяцев.

Веса и железо. Модель открыта по лицензии Apache 2.0. Всего 39,8 млрд параметров, на каждый токен работают около 2,5 млрд. Веса на Hugging Face весят около 80 ГБ. Для запуска через rec нужен Apple Silicon с 48 ГБ памяти и около 30 ГБ свободного места.

Как запустить. Через Ollama хватит одной команды: `ollama run flint:40b-a2b-qat-int4`. Через Recursive ставится движок rec одним скриптом из репозитория recursive-oss/rec, дальше команда `rec launch pi`. Для pi нужны Node.js 22 и npm.

Цифры вендора. В карточке модели на Hugging Face: SWE-bench Verified 74,2%, Terminal-Bench 2.1 54,9%. Блог Recursive заявляет 125+ токенов в секунду на MacBook Pro M4 Pro и до вдвое быстрее сопоставимых моделей. Это цифры самой компании.

Сторонних замеров пока нет: все цифры от самой Recursive.