26 августа 2026 г.
Локальный GigaChat Audio держит 15 минут записи: в анонсе Сбер обещал 3 часа
Разработчик развернул GigaChat Audio на своей RTX 4090: записи длиннее 15 минут вешали систему, и встречу пришлось резать на куски.
Двадцатиминутная запись встречи повесила рабочую машину с RTX 4090. Пришлось резать её на куски по 15 минут.
Мидл-разработчик Данила, в сети pushnoydan, поднял GigaChat Audio у себя на компьютере и целый день кормил его рабочим звуком: голосовыми от коллег, встречами, обучающим видео. Сбер на анонсе 14 июля обещал записи до 3 часов и распознавание эмоций. На домашней карте цифра выглядит иначе.
Что нужно на своей машине. RTX 4090 с 24 GB видеопамяти, Ryzen 9 9950X, 128 GB оперативной, Docker Desktop с WSL2 и токен Hugging Face. Веса открыты под MIT, поэтому модель поднимается локально: контейнер с vLLM, API на порту 8000. Первый запуск занял около 15 минут, следующие — 3–5.
Чтобы всё влезло в 24 GB, Данила снизил MAX_MODEL_LEN с 32768 до 24576 и поднял GPU_MEMORY_UTILIZATION с 0.85 до 0.95. В примере карточки модели стоит 65536 — столько видеопамяти у домашней карты нет.
Дальше упёрлась длина аудио. Обучающее видео и двадцатиминутная встреча вешали систему, пока автор не стал резать их на фрагменты по 15 минут с перекрытием 10 секунд. Заявленные 3 часа так и остались цифрой анонса.
По смыслу тянет, на технике врёт. Хорошая контекстовыжималка — так автор называет модель после дня работы. В саммари встречи она неверно поняла контекст про расширение Istio, и хардкорные места пришлось перепроверять руками.
Веса лежат на Hugging Face с 14 июля, и границу по длине записи уточнят замеры на картах с большей памятью.
Первоисточник