Gemini 3.5 Live Translate: потоковый перевод речи более чем на 70 языках

Gemini 3.5 Live Translate — аудиомодель Google для перевода устной речи в устную речь. Она автоматически распознаёт более 70 языков и озвучивает перевод, стараясь сохранить интонацию, темп и высоту голоса говорящего.

В отличие от систем, которые ждут окончания реплики, модель переводит непрерывный поток речи. Ей приходится балансировать между ожиданием контекста и скоростью: дополнительный контекст может повысить качество перевода, а быстрый вывод помогает не отставать от говорящего. На протяжении сеанса перевод звучит с задержкой в несколько секунд.

Как устроен непрерывный перевод

Gemini 3.5 Live Translate — отдельная аудиомодель с идентификатором gemini-3.5-live-translate-preview, а не чат-ассистент. Она обрабатывает речь по мере поступления аудио, не дожидаясь целого предложения. Модель работает с многоязычным вводом без ручной настройки языков и рассчитана на использование в шумных, непредсказуемых условиях.

Это отличается от работы разговорного агента Live: тот взаимодействует по очереди, учитывает паузы, определяет намерение и обрабатывает перебивания. Live Translate вместо этого постоянно обрабатывает аудиопоток и начинает переводить, пока человек ещё говорит.

Чтобы соблюдать строгие ограничения по задержке, в режиме перевода модель принимает только аудио. Текстовый ввод не поддерживается. В этом режиме также отключены инструменты и системные инструкции: модель работает как специализированный конвейер перевода, а не универсальный агент.

Настройка через Live API

Разработчики задают параметры перевода при настройке сеанса Live API: блок translationConfig помещают в generationConfig. Поле targetLanguageCode указывает целевой язык в формате BCP-47 — например, pl или es. Этот стандарт используют для языковых тегов, таких как en и pt-BR. По умолчанию задано значение en.

Параметр echoTargetLanguage определяет, что делать с речью, уже звучащей на целевом языке: при значении true модель воспроизводит её, а при false — молчит. Для получения текстовых расшифровок можно включить inputAudioTranscription и outputAudioTranscription.

Форматы аудио фиксированы: на вход подаётся необработанный монофонический PCM с разрядностью 16 бит и частотой 16 кГц в порядке байтов little-endian; на выходе — необработанный монофонический PCM с разрядностью 16 бит и частотой 24 кГц, также little-endian. PCM — это несжатый звук. Аудио отправляется фрагментами по 100 мс. Клиентские приложения могут использовать временные токены на конечной точке v1alpha, чтобы не раскрывать API-ключ.

Параметр Live Agent Live Translation
Роль модели Ассистент, который слушает, рассуждает и действует Синхронный переводчик речи
Взаимодействие По очереди, с обработкой перебиваний Непрерывная обработка потока, без очередей
Инструменты Вызов функций, Google Search, инструкции Только перевод, без инструментов и инструкций
Входные данные Текст, аудио, видео и изображения Только аудио — для соблюдения ограничений по задержке
Настройка Генерация, речь, инструменты и инструкции targetLanguageCode и echoTargetLanguage

Сценарии применения

Модель предназначена для синхронного перевода в многоязычных звонках, на встречах, занятиях и трансляциях. Интеграционные платформы помогают разработчикам подключать её к потоковому аудио и видео. Live API уже используют Agora, Fishjam, LiveKit, Pipecat и Vision Agents; эти платформы берут на себя сложную инфраструктуру передачи медиаданных, позволяя разработчикам сосредоточиться на пользовательском интерфейсе.

Пример приложения Google демонстрирует дубляж и одновременный перевод на несколько языков. Компания Grab тестирует модель для общения водителей и пассажиров во время посадки.

Интеграция с Google Meet и Google Переводчиком

В Google Meet планируется использовать Gemini 3.5 Live Translate для перевода речи. При анонсе Google сообщила о закрытом тестировании функции для отдельных клиентов Workspace и о планах расширить доступ. Заявленные изменения для Meet:

Возможность Раньше С Gemini 3.5 Live Translate
Языки 5 Более 70
Языковые пары на встрече Только с английским и на английский Более 2000 сочетаний
Доступ Существующий интерфейс Обновлённый интерфейс для быстрого доступа

В приложении Google Переводчик функция Live Translate работает с любыми подключёнными наушниками и передаёт интонацию говорящего более чем на 70 языках. На Android также доступен режим прослушивания: нужно поднести телефон к уху, как при обычном звонке, — перевод будет звучать через разговорный динамик и не будет слышен окружающим.

Весь сгенерированный аудиоконтент содержит незаметную водяную метку SynthID, предназначенную для его распознавания.