Nemotron 3.5 ASR: потоковая модель NVIDIA распознаёт речь на 40 языковых вариантах

NVIDIA выпустила Nemotron 3.5 ASR — потоковую модель автоматического распознавания речи с 600 млн параметров. Одна версия весов поддерживает 40 языковых вариантов, а пунктуация и заглавные буквы появляются в тексте без отдельной постобработки. Веса доступны на Hugging Face по лицензии OpenMDW-1.1.

Модель рассчитана на две задачи: распознавание аудио с низкой задержкой в реальном времени и высокопроизводительную пакетную транскрибацию. Её архитектура называется Cache-Aware FastConformer-RNNT.

Одна модель для 40 языковых вариантов

Nemotron 3.5 ASR развивает модель nvidia/nemotron-speech-streaming-en-0.6b: к ней добавили возможность задавать язык через промпт. Благодаря этому одна модель с 600 млн параметров работает с 40 языковыми вариантами — переключать модели для разных языков не нужно.

В перечень входят варианты английского, испанского, немецкого и французского, а также арабский, японский, корейский, китайский (мандарин), хинди, тайский и ряд других европейских и североевропейских языков.

Если задать известный языковой вариант параметром target_lang, модель обычно распознаёт речь точнее. Значение target_lang=auto включает автоматическое определение языка. В этом режиме после завершающего знака препинания модель выдаёт языковую метку. Это позволяет обрабатывать речь на разных языках в рамках одного развёртывания без отдельного компонента определения языка.

Как устроена потоковая обработка

В модели два основных компонента: 24-слойный кодировщик Cache-Aware FastConformer и декодер RNNT — рекуррентный нейросетевой преобразователь. FastConformer — эффективная версия архитектуры Conformer с механизмом внимания, масштабируемым линейно. Декодер RNNT формирует текст по мере поступления аудио.

При обычной буферизованной потоковой обработке система на каждом шаге повторно анализирует перекрывающиеся фрагменты звука. Это дублирует вычисления и увеличивает задержку. Nemotron 3.5 ASR кэширует состояния механизма внимания и свёрточных слоёв кодировщика, а затем использует их повторно. В результате каждый аудиокадр обрабатывается один раз, без перекрытия. Такой подход уменьшает вычислительную нагрузку и общую задержку; заявленное преимущество не требует снижения точности.

Настройка задержки

Соотношение задержки и точности регулируется параметром att_context_size. Меньший контекст позволяет быстрее выдавать текст, но оставляет модели меньше информации о последующем аудио. Больший контекст повышает точность, увеличивая задержку. Настройку выбирают во время инференса, без переобучения модели.

att_context_size Размер фрагмента Пример применения
[56,0] 80 мс Голосовые агенты с минимальной задержкой
[56,1] 160 мс Интерактивные голосовые агенты
[56,3] 320 мс Разговорные ИИ-системы и субтитры в реальном времени
[56,6] 560 мс Более высокая точность при умеренной задержке
[56,13] 1,12 с Максимальная точность

Результаты дообучения

Открытые веса можно дообучать для конкретного языка, предметной области или акцента. NVIDIA описала пример для греческого и болгарского языков: базовую модель дообучили по той же схеме Cache-Aware FastConformer-RNNT, а для каждого аудиофрагмента указали целевой язык. Данные взяли из открытых корпусов Granary, Common Voice и FLEURS.

Качество оценивали по показателю WER — доле ошибок в словах — на отложенной части набора FLEURS при задержке 80 мс. Для греческого WER снизился с 35% до 24%, то есть на 32% относительно исходного значения. Для болгарского он уменьшился с 22% до 15% — на 31%. Это исходные значения WER для режима с наименьшей задержкой. NVIDIA отмечает, что достоверные результаты следует оценивать на отложенных данных и при задержке, соответствующей реальному развёртыванию.

Производительность и доступность

По сравнению с Parakeet RNNT 1.1B Multilingual, использующей буферизованную обработку, Nemotron 3.5 ASR примерно вдвое меньше: 0,6 млрд параметров против 1,1 млрд. NVIDIA сообщает о производительности до 17 раз выше по числу одновременных потоков на графическом ускорителе H100. Этот показатель приводится в анонсе модели; в описании модели сформулировано качественное преимущество буферизованной обработкой. Результаты для других ускорителей могут отличаться.

Модель можно запустить на собственной инфраструктуре; также доступен размещённый вариант на DeepInfra, где предусмотрено усиление распознавания заданных слов. Для работы требуется NeMo версии 26.06 или новее, а входной аудиосигнал должен быть монофоническим. Заявлена поддержка ускорителей Ampere, Hopper, Blackwell, Lovelace, Turing и Volta, а также Jetson.

NVIDIA также анонсировала NIM с потоковой передачей по gRPC.

Сравнение с другими системами распознавания

Продукт Доступ Потоковая обработка Языки Задержка и цена
Nemotron 3.5 ASR Открытые веса по OpenMDW-1.1; самостоятельный запуск или размещение на DeepInfra Да, Cache-Aware FastConformer-RNNT 40 языковых вариантов Настраивается от 80 мс до 1,12 с; при самостоятельном запуске нужна собственная инфраструктура
Whisper large-v3 Открытые веса по MIT; самостоятельный запуск или API Нет, пакетная обработка Около 99 языков для API и самостоятельного запуска разные условия
Nova-3 Закрытый API; локальное развёртывание или самостоятельный запуск для корпоративных клиентов Да, потоковая и пакетная Мультиязычная модель; добавлены 10 монолингвальных языков задержка зависит от режима и условий измерения
Universal-3 Pro Streaming Закрытый API, доступна конечная точка в ЕС Да 6 языков: английский, испанский, французский, немецкий, итальянский и португальский Заявлена задержка менее 300 мс; первый частичный результат — примерно через 750 мс; оплата по использованию
Scribe v2 Realtime Закрытый API Да Более 90 языков; по данным ElevenLabs — 99 потоковая задержка зависит от условий измерения
Ursa / streaming API, локальные системы и периферийные устройства Да, потоковая и пакетная Более 50 языков с автоматическим определением Позиционируется как система с очень низкой задержкой; корпоративная или основанная на использовании оплата

Показатели задержки и WER у разных поставщиков измеряются неодинаково, поэтому их нельзя напрямую сопоставлять как единый рейтинг.

Преимущества и ограничения

  • Одна модель с 600 млн параметров охватывает 40 языковых вариантов, упрощая развёртывание.
  • Кэширование позволяет обрабатывать каждый аудиокадр один раз; на H100 заявлено до 17 раз больше одновременных потоков по сравнению с буферизованными подходами.
  • Параметр att_context_size задаёт задержку от 80 мс до 1,12 с без переобучения.
  • Пунктуация, заглавные буквы и автоматическая языковая метка встроены в обработку.
  • После дообучения WER для греческого и болгарского снизился соответственно на 32% и 31% относительно исходных значений.
  • Для задач только на английском NVIDIA рекомендует свою специализированную англоязычную модель.
  • Режим с задержкой 80 мс уступает в точности более медленным настройкам.
  • Для японского и корейского используют CER — долю ошибок в символах, поэтому сравнивать показатели ошибок между языками нужно осторожно.
  • Данные о пропускной способности измерены на H100; на других графических ускорителях результаты будут отличаться.

Nemotron 3.5 ASR сочетает открытые веса, потоковое распознавание и поддержку 40 языковых вариантов в одной модели. При этом выбор между минимальной задержкой и более высокой точностью зависит от настройки контекста, а оценивать производительность следует на оборудовании и при условиях, соответствующих будущему развёртыванию.