Вопросы к документу закрывает модель на 9B: Kev держит 0,852 на незнакомых данных

Джаред Палмер выложил три модели на базах Qwen3.5: Kev-0.8B, Kev-4B и Kev-9B. Каждая собрана как LoRA-адаптер rank-16 с pointer head поверх замороженной базы. Лицензия Apache-2.0 и у кода, и у адаптеров.

Эндпоинт /v1/systemone принимает документ и набор типизированных вопросов: да/нет, выбор из вариантов, рейтинг. Вопросы изолированы друг от друга, а /v1/systemone/permute показывает, как на ответ влияет порядок вариантов.

Что это заменяет. Практики в треде на Hacker News называют свои сценарии: классификация bash-вызовов на безопасные и небезопасные, верификатор конвенций кода для агента, фильтр спама вместо модели на 27B. Раньше под такую проверку держали большую модель. Теперь хватает 9 ГБ видеопамяти в bf16 под Kev-4B и 19 ГБ под Kev-9B, обе влезают в Mac с 32 ГБ.

Разрыв на незнакомом. На закрытом тесте из чужих доменов Kev-9B держит 0,852, Kev-4B 0,837, Kev-0.8B падает до 0,643. Почти 21 пункт между младшей и старшей. Состав обучающей выборки раскрыт: 10 000 публичных записей, 896 записей policy minimal-pair и 1680 записей из 60 сгенерированных структур правил.

Установка укладывается в три команды. Нужны Python 3.12+ и UV, дальше git clone репозитория, uv sync --extra serve и запуск сервера на порту 8009. Проверка идёт POST-запросом на localhost:8009/v1/systemone, рядом лежит веб-плейграунд.

Дообучить на своих данных выходит дёшево: Kev-4B тренировался 56 минут на одной H100, Kev-9B 91 минуту при пике 39,5 ГБ. В README сказано, что файнтюн на своих данных обычно даёт результат лучше промпт-инжиниринга.

На Apple Silicon новое поколение медленнее старого: пять вопросов Kev-4B проходят за 0,78 с против 0,17 с у версии на Qwen3. Kev-9B на M5 отвечает около 2 с, потому что для слоёв Gated DeltaNet нет MPS-ядер.

Прошлое поколение Kev на Qwen3 автор оставил в доступе: на Apple Silicon оно пока быстрее нового.