Расшифровать русскую речь можно на своей карте: Parakeet от NVIDIA ставится одной командой

Раньше Parakeet RNNT 1.1B лежала весами на NGC, и сервер под неё собирали руками через Riva. Теперь NVIDIA отдаёт готовый контейнер NIM: после старта он слушает HTTP на порту 9000 и gRPC на 50051.

Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.

Что набрать. `docker run` с ключом NGC_API_KEY и образом nvcr.io/nim/nvidia/parakeet-1-1b-rnnt-multilingual:latest. Образ весит 12,21 ГБ в сжатом виде, первый запуск до готовности занимает до 30 минут. Дальше расшифровка идёт обычным curl на /v1/audio/transcriptions с полем language=multi, и это значение включает автоопределение языка.

Железо решает. Нужна карта с compute capability 8.0 и выше (A100, H100, L4, L40, RTX 40xx и новее), драйвер NVIDIA от 535 и минимум 16 ГБ видеопамяти. Профиль mode=all поднимает сразу все режимы и просит около 50 ГБ, поэтому на L40S с 48 ГБ он не влезает. По одному режиму дешевле. Offline берёт 25,56 ГБ, потоковый str-thr — 14,75 ГБ.

Три типа модели переключаются через NIM_TAGS_SELECTOR: default определяет язык сам, prompt работает точнее, но язык ему называет клиент, indic собран под индийские языки.

Сама сеть не новая. NVIDIA показала Parakeet RNNT 1.1B с 25 языками ещё 04.06.2025, модель училась на 90 000+ часов речи. Свежее здесь только упаковка.

Без своей карты модель зовут через хостинг NVIDIA, по gRPC на grpc.nvcf.nvidia.com:443 с ключом nvapi-. LiteLLM принимает mp3, wav, flac и ogg и сам приводит звук к 16 кГц моно.

В релизе Speech NIM 26.02.0 к списку добавили бенгальский и тамильский: языки приезжают от версии к версии.