NVIDIA выпустила Nemotron 3.5 ASR — потоковую модель автоматического распознавания речи с 600 млн параметров. Одна версия весов поддерживает 40 языковых вариантов, а пунктуация и заглавные буквы появляются в тексте без отдельной постобработки. Веса доступны на Hugging Face по лицензии OpenMDW-1.1.
Модель рассчитана на две задачи: распознавание аудио с низкой задержкой в реальном времени и высокопроизводительную пакетную транскрибацию. Её архитектура называется Cache-Aware FastConformer-RNNT.
Одна модель для 40 языковых вариантов
Nemotron 3.5 ASR развивает модель nvidia/nemotron-speech-streaming-en-0.6b: к ней добавили возможность задавать язык через промпт. Благодаря этому одна модель с 600 млн параметров работает с 40 языковыми вариантами — переключать модели для разных языков не нужно.
В перечень входят варианты английского, испанского, немецкого и французского, а также арабский, японский, корейский, китайский (мандарин), хинди, тайский и ряд других европейских и североевропейских языков.
Если задать известный языковой вариант параметром target_lang, модель обычно распознаёт речь точнее. Значение target_lang=auto включает автоматическое определение языка. В этом режиме после завершающего знака препинания модель выдаёт языковую метку. Это позволяет обрабатывать речь на разных языках в рамках одного развёртывания без отдельного компонента определения языка.
Как устроена потоковая обработка
В модели два основных компонента: 24-слойный кодировщик Cache-Aware FastConformer и декодер RNNT — рекуррентный нейросетевой преобразователь. FastConformer — эффективная версия архитектуры Conformer с механизмом внимания, масштабируемым линейно. Декодер RNNT формирует текст по мере поступления аудио.
При обычной буферизованной потоковой обработке система на каждом шаге повторно анализирует перекрывающиеся фрагменты звука. Это дублирует вычисления и увеличивает задержку. Nemotron 3.5 ASR кэширует состояния механизма внимания и свёрточных слоёв кодировщика, а затем использует их повторно. В результате каждый аудиокадр обрабатывается один раз, без перекрытия. Такой подход уменьшает вычислительную нагрузку и общую задержку; заявленное преимущество не требует снижения точности.
Настройка задержки
Соотношение задержки и точности регулируется параметром att_context_size. Меньший контекст позволяет быстрее выдавать текст, но оставляет модели меньше информации о последующем аудио. Больший контекст повышает точность, увеличивая задержку. Настройку выбирают во время инференса, без переобучения модели.
att_context_size |
Размер фрагмента | Пример применения |
|---|---|---|
[56,0] |
80 мс | Голосовые агенты с минимальной задержкой |
[56,1] |
160 мс | Интерактивные голосовые агенты |
[56,3] |
320 мс | Разговорные ИИ-системы и субтитры в реальном времени |
[56,6] |
560 мс | Более высокая точность при умеренной задержке |
[56,13] |
1,12 с | Максимальная точность |
Результаты дообучения
Открытые веса можно дообучать для конкретного языка, предметной области или акцента. NVIDIA описала пример для греческого и болгарского языков: базовую модель дообучили по той же схеме Cache-Aware FastConformer-RNNT, а для каждого аудиофрагмента указали целевой язык. Данные взяли из открытых корпусов Granary, Common Voice и FLEURS.
Качество оценивали по показателю WER — доле ошибок в словах — на отложенной части набора FLEURS при задержке 80 мс. Для греческого WER снизился с 35% до 24%, то есть на 32% относительно исходного значения. Для болгарского он уменьшился с 22% до 15% — на 31%. Это исходные значения WER для режима с наименьшей задержкой. NVIDIA отмечает, что достоверные результаты следует оценивать на отложенных данных и при задержке, соответствующей реальному развёртыванию.
Производительность и доступность
По сравнению с Parakeet RNNT 1.1B Multilingual, использующей буферизованную обработку, Nemotron 3.5 ASR примерно вдвое меньше: 0,6 млрд параметров против 1,1 млрд. NVIDIA сообщает о производительности до 17 раз выше по числу одновременных потоков на графическом ускорителе H100. Этот показатель приводится в анонсе модели; в описании модели сформулировано качественное преимущество буферизованной обработкой. Результаты для других ускорителей могут отличаться.
Модель можно запустить на собственной инфраструктуре; также доступен размещённый вариант на DeepInfra, где предусмотрено усиление распознавания заданных слов. Для работы требуется NeMo версии 26.06 или новее, а входной аудиосигнал должен быть монофоническим. Заявлена поддержка ускорителей Ampere, Hopper, Blackwell, Lovelace, Turing и Volta, а также Jetson.
NVIDIA также анонсировала NIM с потоковой передачей по gRPC.
Сравнение с другими системами распознавания
| Продукт | Доступ | Потоковая обработка | Языки | Задержка и цена |
|---|---|---|---|---|
| Nemotron 3.5 ASR | Открытые веса по OpenMDW-1.1; самостоятельный запуск или размещение на DeepInfra | Да, Cache-Aware FastConformer-RNNT | 40 языковых вариантов | Настраивается от 80 мс до 1,12 с; при самостоятельном запуске нужна собственная инфраструктура |
| Whisper large-v3 | Открытые веса по MIT; самостоятельный запуск или API | Нет, пакетная обработка | Около 99 языков | для API и самостоятельного запуска разные условия |
| Nova-3 | Закрытый API; локальное развёртывание или самостоятельный запуск для корпоративных клиентов | Да, потоковая и пакетная | Мультиязычная модель; добавлены 10 монолингвальных языков | задержка зависит от режима и условий измерения |
| Universal-3 Pro Streaming | Закрытый API, доступна конечная точка в ЕС | Да | 6 языков: английский, испанский, французский, немецкий, итальянский и португальский | Заявлена задержка менее 300 мс; первый частичный результат — примерно через 750 мс; оплата по использованию |
| Scribe v2 Realtime | Закрытый API | Да | Более 90 языков; по данным ElevenLabs — 99 | потоковая задержка зависит от условий измерения |
| Ursa / streaming | API, локальные системы и периферийные устройства | Да, потоковая и пакетная | Более 50 языков с автоматическим определением | Позиционируется как система с очень низкой задержкой; корпоративная или основанная на использовании оплата |
Показатели задержки и WER у разных поставщиков измеряются неодинаково, поэтому их нельзя напрямую сопоставлять как единый рейтинг.
Преимущества и ограничения
- Одна модель с 600 млн параметров охватывает 40 языковых вариантов, упрощая развёртывание.
- Кэширование позволяет обрабатывать каждый аудиокадр один раз; на H100 заявлено до 17 раз больше одновременных потоков по сравнению с буферизованными подходами.
- Параметр
att_context_sizeзадаёт задержку от 80 мс до 1,12 с без переобучения. - Пунктуация, заглавные буквы и автоматическая языковая метка встроены в обработку.
- После дообучения WER для греческого и болгарского снизился соответственно на 32% и 31% относительно исходных значений.
- Для задач только на английском NVIDIA рекомендует свою специализированную англоязычную модель.
- Режим с задержкой 80 мс уступает в точности более медленным настройкам.
- Для японского и корейского используют CER — долю ошибок в символах, поэтому сравнивать показатели ошибок между языками нужно осторожно.
- Данные о пропускной способности измерены на H100; на других графических ускорителях результаты будут отличаться.
Nemotron 3.5 ASR сочетает открытые веса, потоковое распознавание и поддержку 40 языковых вариантов в одной модели. При этом выбор между минимальной задержкой и более высокой точностью зависит от настройки контекста, а оценивать производительность следует на оборудовании и при условиях, соответствующих будущему развёртыванию.