Gemini 3.5 Live Translate — аудиомодель Google для перевода устной речи в устную речь. Она автоматически распознаёт более 70 языков и озвучивает перевод, стараясь сохранить интонацию, темп и высоту голоса говорящего.
В отличие от систем, которые ждут окончания реплики, модель переводит непрерывный поток речи. Ей приходится балансировать между ожиданием контекста и скоростью: дополнительный контекст может повысить качество перевода, а быстрый вывод помогает не отставать от говорящего. На протяжении сеанса перевод звучит с задержкой в несколько секунд.
Как устроен непрерывный перевод
Gemini 3.5 Live Translate — отдельная аудиомодель с идентификатором gemini-3.5-live-translate-preview, а не чат-ассистент. Она обрабатывает речь по мере поступления аудио, не дожидаясь целого предложения. Модель работает с многоязычным вводом без ручной настройки языков и рассчитана на использование в шумных, непредсказуемых условиях.
Это отличается от работы разговорного агента Live: тот взаимодействует по очереди, учитывает паузы, определяет намерение и обрабатывает перебивания. Live Translate вместо этого постоянно обрабатывает аудиопоток и начинает переводить, пока человек ещё говорит.
Чтобы соблюдать строгие ограничения по задержке, в режиме перевода модель принимает только аудио. Текстовый ввод не поддерживается. В этом режиме также отключены инструменты и системные инструкции: модель работает как специализированный конвейер перевода, а не универсальный агент.
Настройка через Live API
Разработчики задают параметры перевода при настройке сеанса Live API: блок translationConfig помещают в generationConfig. Поле targetLanguageCode указывает целевой язык в формате BCP-47 — например, pl или es. Этот стандарт используют для языковых тегов, таких как en и pt-BR. По умолчанию задано значение en.
Параметр echoTargetLanguage определяет, что делать с речью, уже звучащей на целевом языке: при значении true модель воспроизводит её, а при false — молчит. Для получения текстовых расшифровок можно включить inputAudioTranscription и outputAudioTranscription.
Форматы аудио фиксированы: на вход подаётся необработанный монофонический PCM с разрядностью 16 бит и частотой 16 кГц в порядке байтов little-endian; на выходе — необработанный монофонический PCM с разрядностью 16 бит и частотой 24 кГц, также little-endian. PCM — это несжатый звук. Аудио отправляется фрагментами по 100 мс. Клиентские приложения могут использовать временные токены на конечной точке v1alpha, чтобы не раскрывать API-ключ.
| Параметр | Live Agent | Live Translation |
|---|---|---|
| Роль модели | Ассистент, который слушает, рассуждает и действует | Синхронный переводчик речи |
| Взаимодействие | По очереди, с обработкой перебиваний | Непрерывная обработка потока, без очередей |
| Инструменты | Вызов функций, Google Search, инструкции | Только перевод, без инструментов и инструкций |
| Входные данные | Текст, аудио, видео и изображения | Только аудио — для соблюдения ограничений по задержке |
| Настройка | Генерация, речь, инструменты и инструкции | targetLanguageCode и echoTargetLanguage |
Сценарии применения
Модель предназначена для синхронного перевода в многоязычных звонках, на встречах, занятиях и трансляциях. Интеграционные платформы помогают разработчикам подключать её к потоковому аудио и видео. Live API уже используют Agora, Fishjam, LiveKit, Pipecat и Vision Agents; эти платформы берут на себя сложную инфраструктуру передачи медиаданных, позволяя разработчикам сосредоточиться на пользовательском интерфейсе.
Пример приложения Google демонстрирует дубляж и одновременный перевод на несколько языков. Компания Grab тестирует модель для общения водителей и пассажиров во время посадки.
Интеграция с Google Meet и Google Переводчиком
В Google Meet планируется использовать Gemini 3.5 Live Translate для перевода речи. При анонсе Google сообщила о закрытом тестировании функции для отдельных клиентов Workspace и о планах расширить доступ. Заявленные изменения для Meet:
| Возможность | Раньше | С Gemini 3.5 Live Translate |
|---|---|---|
| Языки | 5 | Более 70 |
| Языковые пары на встрече | Только с английским и на английский | Более 2000 сочетаний |
| Доступ | Существующий интерфейс | Обновлённый интерфейс для быстрого доступа |
В приложении Google Переводчик функция Live Translate работает с любыми подключёнными наушниками и передаёт интонацию говорящего более чем на 70 языках. На Android также доступен режим прослушивания: нужно поднести телефон к уху, как при обычном звонке, — перевод будет звучать через разговорный динамик и не будет слышен окружающим.
Весь сгенерированный аудиоконтент содержит незаметную водяную метку SynthID, предназначенную для его распознавания.