Чат-бот живёт на своей машине, а не в облаке: gpt-oss:20b запускается от 16 GB памяти

Локальный запуск снимает главный вопрос к облачным чатам: переписка и файлы остаются на машине. Ставят такую модель двумя программами, Ollama и LM Studio.

Как поставить

Одна команда. Ollama работает на macOS 14 Sonoma и новее, на Linux и Windows. На macOS и Linux она встаёт одной строкой curl со страницы загрузки, дальше модель поднимается командой `ollama run gpt-oss:20b`.

LM Studio на macOS требует Apple Silicon, от M1 до M4, и систему не ниже macOS 14. На Windows и Linux ей нужен процессор с поддержкой AVX2, на Linux подойдёт Ubuntu 20.04 и новее. Памяти разработчики рекомендуют 16 GB: на восьмигиговом Mac пойдут только малые модели с коротким контекстом. Ускорение на видеокарте включается от 4 GB VRAM.

Раньше LM Studio на работе просил коммерческую лицензию по форме-запросу. С 8 июля 2025 программа бесплатна и для рабочего использования, платными остались планы Teams и Enterprise с SSO и контролем моделей.

Что влезает в домашнюю машину

gpt-oss:20b качается на 14 GB, заявлена работающей от 16 GB памяти и держит контекст 128K токенов. Такой вес получился квантованием до 4,25 бита на параметр.

Gemma 3 в каталоге Ollama разложена по пяти размерам, от 0,29 GB у младшей 270M до 17 GB у старшей 27B. Средняя 4B качается на 3,3 GB и стартует командой `ollama run gemma3:4b`, для неё нужна Ollama 0.6 или новее.