Разбор · Опубликовали 07.10.2026
Локальная LLM для компании: данные не уходят наружу, но качество, железо и обновления становятся вашими
Как выбрать локальную LLM для работы с документами, проверить качество и посчитать эксплуатацию. Что принять у подрядчика до покупки сервера и кому подойдёт подписка на разработку.
Текст подготовлен машиной агентов под надзором автора · факты проверены 7 октября 2026
Локальная LLM оставляет документы внутри, если весь путь обработки закрыт. Качество ответов, железо и сопровождение становятся задачами компании.
Разберём учебный пилот: ответы по регламенту поездок. До закупки сервера считаем принятые ответы и весь бюджет эксплуатации.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
1. Данные остаются внутри только при закрытом пути обработки.
При локальном запуске LLM модель работает на вашем сервере. Чат при этом может отдавать распознавание сканов внешней программе.
Ollama поддерживает местные и облачные модели. На 7 октября 2026 её FAQ описывает отключение облачных функций, включая веб-поиск.
Границы данных и кода задают отдельно. Запрет на передачу документов не определяет условия работы с исходниками. Данные людей разобраны отдельно.
Закрытый контур охватывает документы, ответы, журналы и доступ.
Редакционный список приёмки по документации Ollama, vLLM и OWASP, проверено 07.10.2026. Фактические соединения проверяют в конкретном внедрении.
2. Качество выбирают на своих задачах, а не по месту модели в рейтинге.
В пилоте эталон по поездке готовит эксперт компании. Модель должна найти действующий пункт регламента и не додумать условия оплаты.
Наш разбор закрытого контура сравнивает агентов на коде. Его проценты нельзя переносить на ответы по документам или другую локальную модель.
Авито в блоге от 27 октября 2025 описывает свои бенчмарки и обучение открытой модели. Её скачивание не заменяет проверку ваших задач.
Ответ засчитывают по документу и условиям задачи.
Предложенная нами схема, 07.10.2026. Считайте долю заданий, выполненных без исправления, и разбирайте провалы. Эталон готовит эксперт компании; сравнение с облаком допустимо только в разрешённых границах. Это критерии пилота, не результаты проведённого теста.
3. Поиск по документам не снимает проверку ответа и прав доступа.
RAG подаёт модели фрагменты, найденные в архиве, для ответа на вопрос. Это способ использовать документы без обучения на всём наборе.
Проверяйте поиск отдельно. В учебном примере он нашёл отменённый регламент об оплате поездки. Точный пересказ такого документа даст неверное правило.
Права сотрудника должны ограничивать поиск. OWASP описывает утечки между пользователями общей RAG. Просьба в промпте не заменяет доступ по ролям.
Сбой поиска исправляют отдельно от ошибки ответа.
Редакционная схема диагностики и OWASP LLM08:2025, проверено 07.10.2026. Примеры учебные, не клиентский кейс.
4. Память под веса не равна мощности сервиса для сотрудников.
Подбирайте железо по замеру пилота. Помимо весов модели, память нужна для длинных регламентов и одновременных запросов сотрудников.
Квантизация снижает разрядность весов и расход памяти. Повторите приёмку в этой конфигурации: меньший файл не доказывает качество ответа.
Ниже только память для весов: число параметров умножено на битность и разделено на восемь. Кэш контекста и служебная память не включены.
Арифметика весов даёт только нижнюю оценку памяти.
Арифметика автора, 07.10.2026, по устройству квантизации в документации Hugging Face. ГБ десятичные. Метаданные, кэш контекста и буферы не включены. Таблица не задаёт объём видеокарты для работающего сервиса.
Документация Hugging Face описывает память кэша контекста. Принимайте железо на длинных и параллельных запросах, с замером ожидания и числа ответов.
5. Экономию считают по принятым ответам с учётом эксплуатации.
Аренда GPU позволяет проверить конфигурацию до покупки, если размещение разрешено вашей политикой. Сервер у провайдера тоже находится вне офиса.
Считайте расходы на железо, эксплуатацию и ручные исправления. Бесплатные веса не оплачивают электричество, резервирование и работу с индексом.
Меньший бюджет может дать более дорогой ответ.
Учебный расчёт автора для ответов по регламенту, 07.10.2026. Обе конфигурации локальные и условные. 120 000 / 600 = 200; 144 000 / 900 = 160. Это не рыночный прайс и не измерение внедрения.
Наш счётчик затрат облачных агентов измеряет разработку сайта. Цена его токенов не задаёт цену сервиса для сотрудников: нагрузка и оплата различаются.
6. Каждое обновление возвращает модель на приёмку.
Меняются регламенты, права и программа запуска. До общего доступа новая модель или индекс проходят прежние проверочные вопросы о поездках.
На vibecoding.ru инженер ведёт машину агентов. Лента показывает её реальные поломки. Это уроки эксплуатации, локального внедрения у клиента у нас нет.
Поломка превращается в проверку.
23.07
Писатель ленты не работал, отметка прогресса продолжала двигаться. Принятое правило: при ошибке прогресс стоит, причина сохраняется.
19.09
Кончилось место на диске, встали несколько процессов. Принятое правило: свободное место проверяется отдельно.
24.09
Функция вернула поле, которого не было в описании ответа, при зелёных тестах. Добавленная проверка сверяет поля результата с описанием.
Проверенные записи журналов машины от 23.07, 19.09 и 24.09.2026. Публичный пересказ без закрытых файлов и инфраструктурных адресов.
Превращайте ошибку пользователя в проверочную задачу. Подрядчик сдаёт способ отката, ответственный в компании принимает новую версию.
7. Заказывайте пилот с критериями приёмки и владельцем сопровождения.
До сметы задайте сценарий, границы данных и условия приёмки. Постановка задачи агенту разобрана отдельно; здесь нужен результат для сотрудника.
В пилоте по поездкам принимайте источник ответа, отказ и права доступа. Обещание заменить все чаты не задаёт проверяемых критериев.
Пилот сдаёт ответы, нагрузку, стоимость и порядок сопровождения.
Предложенный нами план пилота, 07.10.2026. Пороги качества и ожидания согласуются до запуска, универсального процента нет.
Тест для руководителя помогает оценить готовность отдела к агентной разработке. Качество локальной модели всё равно проверяют отдельным пилотом.
«Один проект» стоит 250 000 ₽ в месяц на 7 октября 2026. В рамках подписки можно заказать обвязку: поиск по документам, проверки и админку.
Код пишут облачные агенты. Если исходники нельзя выносить, подписка не подходит. Работа локального сервиса требует отдельного бюджета и владельца.
Что и как мы проверяли
| Факт | Что известно | Проверено |
|---|---|---|
| Размещение | FAQ Ollama и Security vLLM: локальные и облачные функции, ограничения ключа API и требования к изоляции сети. Конкретное внедрение мы не проверяли | 2026-10-07 |
| Память | Документация Hugging Face о квантизации и кэше контекста. Таблица весов посчитана нами, без служебной памяти, не задаёт объём видеокарты | 2026-10-07 |
| Поиск и права | OWASP LLM08:2025. Пробы на старый регламент, чужой документ и неверный ответ предложены нами, не измерены у клиента | 2026-10-07 |
| Выбор модели | Первичный инженерный блог Авито, Анастасия Рысьмятова, 27 октября 2025. Собственные бенчмарки и адаптация модели. Результаты Авито не переносим на скачанные веса | 2026-10-07 |
| Стоимость | Условные конфигурации и бюджеты заданы автором. 120 000 / 600 = 200 ₽, 144 000 / 900 = 160 ₽. Это арифметика примера, не прайс и не результат внедрения | 2026-10-07 |
| Наш опыт | Своего клиентского развёртывания локальной LLM у нас нет. Лента описывает поломки машины агентов на vibecoding.ru по сверенным записям журналов. Цена «Один проект» взята с живой /services на дату сдачи | 2026-10-07 |
8. Частые вопросы
Можно ли развернуть LLM локально без GPU?+
Некоторые модели можно запустить на процессоре. Для компании важен замер ожидания ответа и пропускной способности на своих документах. Сам факт успешного запуска не доказывает пригодность для сотрудников.
Какая локальная LLM лучшая для компании?+
Та, которая проходит согласованные задачи на вашем языке и документах при допустимой нагрузке. Сравнивайте одинаковый набор заданий и именно ту конфигурацию, которую собираетесь эксплуатировать.
Нужна ли локальной RAG-системе донастройка модели?+
Не обязательно. Начните с проверки найденных фрагментов. Если поиск приносит неправильный документ, обучение генератора не исправляет причину этой ошибки.
Можно ли учить модель на всех документах вместо поиска?+
Обучение и поиск решают разные задачи. Для меняющихся регламентов нужен способ подать действующую версию и проверить источник ответа. Обучение само по себе не задаёт права сотрудников на документы.
Аренда GPU считается закрытым контуром?+
Только если конкретное размещение и доступ соответствуют требованиям компании. Название «выделенный сервер» не отвечает на вопросы о доступе провайдера, копиях и технической поддержке.
Локальная модель закрывает требования к персональным данным?+
Местное размещение отвечает лишь на часть технических вопросов. Доступ, журналы и копии проверяют отдельно. У нас есть разбор данных людей и агентов; требования к конкретной системе определяют профильные специалисты компании.
Источники
- Ollama, FAQ, локальные и облачные функции · проверено 07.10.2026 — документация
- vLLM, Security, сеть и ограничения ключа API · проверено 07.10.2026 — документация
- vLLM, CPU, запуск на процессоре · проверено 07.10.2026 — документация
- Hugging Face, Bitsandbytes, квантизация · проверено 07.10.2026 — документация
- Hugging Face, Cache strategies, память контекста · проверено 07.10.2026 — документация
- OWASP, LLM08:2025, векторы и эмбеддинги · проверено 07.10.2026 — первоисточник
- Анастасия Рысьмятова, «Как мы в Авито сделали свою LLM», 27.10.2025 · проверено 07.10.2026 — инженерный блог
- vibecoding.ru, машина агентов и счётчик затрат · проверено 07.10.2026 — наш опыт
- vibecoding.ru, затраты облачных агентов на разработку · проверено 07.10.2026 — наш замер
- vibecoding.ru, подписка «Один проект» · цена проверена 07.10.2026 — наш продукт
Запомнить
1. Принимайте закрытость всего пути обработки. Локальный чат не доказывает, что документы остаются внутри.
2. Выбирайте модель по принятым ответам на своих задачах. Отдельно проверяйте поиск и права доступа.
3. Покупайте железо после замера нагрузки. Веса занимают только часть памяти сервиса.
4. Считайте эксплуатацию и ручные исправления. Назначьте владельца обновлений и возвращайте каждую новую версию на приёмку.