ASR для телефонных ботов можно сравнить на общем наборе: RESON OSD содержит 38 часов речи

MWS AI открыла инструмент анализа RESON и набор записей RESON OSD, которые команда разрабатывала для своих задач за последний год. Первый публичный релиз RESON датирован 24 июня 2026 года, а 1 октября компания описала их применение на Хабре.

Что проверять. Набор содержит 37 часов 52 минуты аудио в телефонном формате 8 кГц. Четыре конфигурации охватывают обычную речь и речь с числами, каждую в тихих и шумных условиях. Тихие и шумные записи тематически сопоставимы, но это разные записи, поэтому разница результатов включает различия между ними.

У каждой записи есть два эталона. В `text` числа преимущественно записаны словами, а названия кириллицей. В `e2e_text` числа записаны цифрами, бренды сохраняют привычное латинское написание.

Авторы сравнили модели без дообучения по эталону `text`. WER считает замены, пропуски и лишние слова относительно эталонной расшифровки. Ниже средний результат по четырём срезам на 1 октября 2026 года, меньше означает меньше ошибок.

| Модель | Средний WER | | --- | --- | | GigaAM v3 rnnt | 7,42% | | Vosk | 11,07% | | parakeet-tdt-0.6b-v3 | 15,83% | | nemotron-3.5-asr-streaming-0.6b | 25,52% |

Как запустить. RESON рекомендуют запускать через Docker. Из корня клонированного репозитория образ собирается командой `docker build -t reson .`, справка открывается через `docker run --rm reson reson --help`. Образ уже содержит собранные интерфейсы отчётов.

Для установки без Docker служит `pip install -e .`, нужен Python 3.11+. Для локальной сборки HTML-отчётов дополнительно требуются Node.js 18+ и npm 9+.

RESОN принимает манифест JSONL с полями `audio_filepath`, `duration`, `text` и `prediction`: путь к записи, длительность, эталон и ответ модели. Анализ запускается командой `reson run analyze manifest.jsonl -n candidate -o artifacts/runs`. Сравнение с базовым прогоном и статистической проверкой запускается через `reson run compare artifacts/runs/candidate.json artifacts/runs/baseline.json --bootstrap`.

Набор загружается вызовом `load_dataset("MTSAIR/mws-reson-asr-osd", "general_quietly", split="test")`. WAV и `metadata.jsonl` доступны и без библиотеки datasets. Код и набор опубликованы под MIT.

RESON формирует три вида автономных HTML-отчётов для разбора результатов.