2 сентября 2026 г.
WebLLM похоронили зря: в репозитории 165 готовых сборок моделей
Слух о смерти WebLLM разошёлся 2 сентября, а коммиты в его репозитории шли в те же дни.
Последний коммит в репозитории WebLLM датирован 3 сентября 2026. Днём раньше проект публично записали в мёртвые.
WebLLM запускает языковую модель прямо в браузере: веса едут на машину пользователя, считает его видеокарта, за токены никто не платит. Для того, кто собирается повесить такое на свой сайт, вопрос «жив или мёртв» решает всё.
Спор развернулся в треде Hacker News 2 сентября. Там WebLLM назвали мёртвым de facto и посоветовали заменить его на Transformers.js или ONNX Runtime от Microsoft, а затухание связали с покупкой OctoAI компанией NVIDIA в конце 2024.
Что в репозитории. Участники треда писали, что развитие встало на Gemma 2. В конфиге main лежат 165 готовых сборок: Qwen3.5 до 9B, Phi-4-mini, DeepSeek-R1-Distill и дальше вниз до SmolLM2 на 135 млн параметров. Репозиторий не заархивирован, у него 19 000 звёзд и 1374 форка, а последний коммит отсеивает NaN в параметрах генерации. Свежий релиз в npm прежний: 0.2.84 от 27.05.2026.
Как поставить. `npm install @mlc-ai/web-llm`, а без сборки движок подключается импортом с CDN esm.run. Поднимается он одной строкой `CreateMLCEngine` с именем сборки, дальше вызовы идут как у OpenAI: `chat.completions.create` со стримингом, JSON-режимом и function calling.
Цена браузерного инференса считается в мегабайтах трафика. Каждая сессия тянет от 500 МБ до гигабайта весов, и предупреждения об этом нигде нет. Видеопамяти нужно от 1129 МБ на Llama-3.2-1B до 6101 МБ на восьмимиллиардной Llama-3.1.
Скорость держится около нативной. На MacBook Pro M3 Max браузерная Llama-3.1-8B выдала 41,1 токена в секунду против 57,7 у нативного движка (замер авторов, ревизия статьи 13.04.2026). Это быстрее, чем человек успевает читать.
На Linux демо chat.webllm.ai падает: Firefox и Chromium держат там WebGPU выключенным. В Firefox его включает `dom.webgpu.enabled` в about:config, в Chrome — флаг enable-unsafe-webgpu, а дискретную карту вместо встройки берёт force-high-performance-gpu. На Windows Firefox отдаёт WebGPU по умолчанию с версии 141 от 22.07.2025.
Коммиты начала сентября в npm ещё не приехали: последняя опубликованная версия вышла 27.05.2026.
Первоисточник