Хинди вошёл в Open ASR Leaderboard: первый язык Глобального Юга в рейтинге распознавания речи

Hugging Face добавила в Open ASR Leaderboard хинди, первый язык Глобального Юга рядом с европейскими. Вместе с языком в рейтинг приехала разбивка по регионам, и она рушит привычку выбирать модель по одному числу.

Раньше было одно число. Мультиязычная вкладка держала только европейские языки, и модель выбирали по средней цифре на язык. Теперь у хинди и индийского английского есть замер по зонам страны.

WER считает долю слов, которые модель услышала неправильно: чем ниже, тем лучше. На публичном наборе индийского английского восемь моделей уложились в узкий коридор 4.81–4.99.

Лучше всех whisper-large-v3-turbo с 4.81, у Voxtral-Mini-3B-2507 4.99. По таблице их разделяют 0.18 пункта. По регионам whisper расходится на 0.46 пункта, Voxtral — на 1.68.

Хинди мерят по-другому. Одно и то же слово в хинди пишут разными способами, и обычный WER штрафует модель за вариант написания. Hugging Face считает хинди через OIWER с открытой реализацией voi-oiwer, и при переходе на эту метрику порядок моделей меняется.

Публичный сплит хинди — 1.33 часа от 468 дикторов из 202 округов, приватный вчетверо больше. Сбор варьировали по девяти осям: география, возраст, устройства и ещё шесть.

Прогнать можно самому. Публичные наборы Monsoon качаются с Hugging Face Datasets под CC-BY-4.0, hi-IN и en-IN. Прогон идёт через Hugging Face Jobs на H200, полная оценка стоит $2.92–$5.58.

В лидерборд с приватными сплитами пускают через pull request в huggingface/open_asr_leaderboard: прикладываешь результаты на публичных наборах, приватные метрики команда считает сама.