26 октября 2026 г.
Модель синтеза речи учат новому языку с 25 часов записей: раньше нужно было 100
ИТМО и MWS AI срезали 75% обучающих данных для нового языка, качество синтеза не упало.
На русском SEAM обучили на 25 часах записей. Ошибка вышла ниже, чем у обычного метода на 100 часах.
Это главный результат препринта, который ИТМО, СПЦ РАН и MWS AI выложили на arXiv 19.10.2026. Новый язык модель осваивает с вчетверо меньшего объёма записей.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Откуда экономия. Обычно эмбеддинги незнакомых токенов либо задают случайно, либо усредняют по знакомым кускам. SEAM собирает их из известных субтокенов спектральным фильтром, который держит порядок звуков во времени, и подгоняет результат ridge-регрессией под уже обученную модель. Своего аудио на старте методу не нужно.
По русскому ряд такой. Усреднение по 100 часам записей дало CER 9,64%, SEAM на 25 часах дал 8,50%. CER тут считают так: синтезированную речь прогоняют через распознавание и смотрят долю неверных символов. На казахском при равных 100 часах SEAM ошибся в 11,11% слов, случайная инициализация в 16,90%.
В слепом сравнении на русском 56,7% слушателей предпочли SEAM с 25 часами варианту с усреднением на 100. Проверяли на двух архитектурах: Chatterbox на 0,5B параметров как основной бэкбон и VibeVoice на 1,5B для кросс-архитектурной сверки. Языками взяли русский, казахский и французский, бюджеты в прогонах ставили 5, 25 и 100 часов.
Взять пока нечего. Кода на 26.10.2026 нет ни на GitHub, ни на HuggingFace, хотя авторы заявляют воспроизводимость. Оба бэкбона лежат в открытом доступе, а лаборатория при открытии 17.06.2026 обещала выкладывать решения туда же.
Следующая веха: публикация кода на GitHub и HuggingFace, которую лаборатория обещала при своём открытии 17.06.2026.
Первоисточник