比起今天大家追捧的 Anthropic 发布的Claude Fable 5 和 Claude Mythos 5 模型，我更关注Google 今天发布的这个模型...

虽然 Claude Fable 5很强大，但是模型能力已经超出了普通人能使用的范畴，而Google这个模型 直接推倒了“巴别塔”....

Google 今天发布了其实时语音翻译模型： Gemini 3.5 Live Translate ，能在70多种语言之间做到边听边译，同时保留说话人的语调、节奏和音高。

该模型基于Google 最新 的 Gemini 3.5 模型， 兼顾了Gemini 3.0 Pro的专业能力和 Gemini 3.0 Flash 的速度，能快速准确的完成一些复杂的任务。Google 将其优化为一个全新的实时翻译模型

Gemini 3.5 Live Translate 已同步登陆 Gemini Live API、Google Translate App 和 Google Meet。

视频

核心更新一览：

• 支持70多种语言自动检测，不需要手动选语言

• 边听边译，不等说完才翻，全程只比说话人慢几秒

• 翻译语音保留原始说话人的语调、节奏和音高

• 自动滤除噪音，嘈杂环境也能用

• Google Meet 语言组合从之前的5种语言、仅限英语互译，扩展到70多种语言、2000多种组合

• Google Translate App 新增「听筒模式」（Android 独占），贴耳即听翻译

• 所有生成音频带 SynthID 水印，可检测 AI 生成内容

• 开发者可通过 Gemini Live API 和 Google AI Studio 直接调用

它到底做了什么

过去的翻译工具，不管是 Google Translate 的对话模式，还是各种会议翻译插件，基本都是「轮次制」的：你说完一整句，系统停顿，处理，再输出翻译，中间那段沉默就是在等上下文。

3.5 Live Translate 改了这个逻辑

它在你说话的同时持续生成翻译语音， 像同声传译一样跟着你走

模型内部在做一个持续的权衡：多等一会儿能拿到更多上下文、翻得更准，但等太久就跟不上说话人了。

它在两者之间动态调节，输出流畅的音频，全程只比说话人慢几秒。

视频

视频来自 @swmansion

一个具体的画面： 你在巴塞罗那跟一个只说西班牙语的导游走街串巷，他在讲这栋楼的历史。你把手机贴到耳朵上，听筒里传出来的英文翻译几乎和他的西班牙语同步，语调起伏也跟着他走。他激动的时候翻译声音也快，他停下来想词的时候翻译也自然地缓一拍。

先搞清楚一件事：它不是 AI 助手，是翻译器

Google 的 Live API 现在有两种模式：普通的 Live Agent 和 Live Translate。

名字像，但用的是完全不同的架构。

↔ 左右滑动查看完整表格
维度Live Agent（普通模式）Live Translate（翻译模式）
模型角色充当助理，能聆听、推理、采取行动充当翻译器，像一个实时翻译流水线
交互方式基于回合，依赖暂停和意图检测连续流处理，边说边译不等轮次
工具和 Agent 能力支持函数调用、Google 搜索、指令不支持，纯翻译
输入模态文本、音频、视频、图片仅音频
配置复杂度需要配置生成参数、语音、工具、系统指令只需设 target_language_code 和几个开关

为什么只接受音频，不接受文本？

因为这个模型从底层就是一个端到端的语音到语音模型。它解决的核心问题是「在对方还没说完的时候就开始翻译并输出声音」。

音频是连续的流，每100毫秒一个块不断涌进来，没有明确的句子边界，模型要在这个流里实时判断说话人在说什么语言、句子说到哪里了、现在翻还是再等一下能翻得更准。这整套「边听边译」的连续流处理机制天然就是为音频设计的。

文本是离散的、完整的，不存在「说到一半要不要先翻」的问题，也不需要保留语调和节奏。

需要文本翻译的话，Google Translate 的文本 API 和 Gemini 文本模型已经能做了，没必要混进这个专为音频流优化的管线里。

三个关键能力

1. 自动语言检测

不需要提前告诉模型「我说的是中文，帮我翻成英文」。你直接说，它自己判断你在说什么语言，自动翻成目标语言。在多人多语言的场景下，比如一个会议里有人说日语、有人说法语、有人说中文，模型可以分别处理，不用每次手动切换。

视频

2. 语音特征保留

这不是那种用固定机器人嗓音读翻译文本的模式。模型会尝试保留原始说话人的语调（intonation）、节奏（pacing）和音高（pitch）。你说得快它翻得也快，你强调某个词它也会在翻译语音中体现重音。

东南亚打车平台 Grab 正在测试这个模型，用于司机和乘客在接驾时的多语言通话。Grab 每月有超过1000万通语音电话通过平台拨出。

一个泰国司机和一个日本游客之间的电话，双方各说各的语言，模型在中间做实时双向翻译。

视频

3. 自动滤除噪音

在安静的办公室里做翻译不难，难的是在嘈杂的街头、拥挤的餐厅、或者机场候机厅。模型会主动滤除噪声和音乐来生成清晰的语音。

视频

怎么用：三条路径

路径一：普通用户，Google Translate App

最简单的入口。在 Android 或 iOS 上打开 Google Translate，进入 Live Translate 功能。连接任意蓝牙或有线耳机，选好目标语言，对方说话时你通过耳机听到接近实时的翻译。

广告媒流（小程序）-爆款监控

Android 独占的「听筒模式」： 不需要耳机。直接把手机像打电话一样贴到耳朵上，翻译后的音频通过手机听筒播放。适合两个场景：手边没耳机，或者不想让周围的人听到翻译内容。

一个具体的用法：你在东京的居酒屋，店员在用日语推荐今天的菜，你把手机贴到耳朵上，听筒里实时传出中文翻译。店员看到的只是你在「打电话」，整个过程自然不尴尬。

路径二：企业用户，Google Meet

Google Meet 的语音翻译功能将升级为 3.5 Live Translate：

↔ 左右滑动查看完整表格
维度升级前升级后
支持语言数5种70多种
语言组合仅限和英语互译2000多种语言组合
操作方式需要提前配置即时访问

之前如果你的团队里有人说中文、有人说日语、有人说葡萄牙语，Meet 的翻译只能把英语翻成这几种语言，中文到日语、日语到葡萄牙语这种组合不支持。现在可以了。

目前是私有预览阶段，本月先对部分 Google Workspace 企业客户开放，今年晚些时候更大范围推出。

路径三：开发者，Gemini Live API

开发者可以通过 Gemini Live API 在自己的应用中集成实时翻译能力。模型名称是 gemini-3.5-live-translate-preview 。

最小可用配置：

class="language-python">config = types.LiveConnectConfig(
    response_modalities=["AUDIO"],
    translation_config=types.TranslationConfig(
        target_language_code="zh-Hans",  "color:#6a9955"># 目标语言，BCP-47 代码
        echo_target_language=True         "color:#6a9955"># 输入已是目标语言时是否回放
    )
)

两个核心参数：

•target_language_code ：你要翻成什么语言，用 BCP-47 代码指定。 "zh-Hans" 是简体中文， "ja" 是日语， "en" 是英语（默认值）

•echo_target_language ：如果说话人说的本来就是目标语言怎么办？设为 true ，模型原样回放这段音频；设为 false （默认），模型保持静默不输出

可选配置，转写文本：

如果你不仅需要翻译后的音频，还需要文字版本（比如做字幕），可以在配置中加上转写：

class="language-python">config = types.LiveConnectConfig(
    response_modalities=["AUDIO"],
    input_audio_transcription=types.AudioTranscriptionConfig(),   "color:#6a9955"># 输入语音转文字
    output_audio_transcription=types.AudioTranscriptionConfig(),  "color:#6a9955"># 翻译语音转文字
    translation_config=types.TranslationConfig(
        target_language_code="zh-Hans",
        echo_target_language=True
    )
)

开启后，除了翻译音频流，你还会收到输入语音的原文文本和翻译后的文本，分别通过 input_transcription 和 output_transcription 字段返回。

音频格式要求：

↔ 左右滑动查看完整表格
方向格式采样率声道
输入原始16位 PCM，小端序16kHz单声道
输出原始16位 PCM，小端序24kHz单声道

音频以100毫秒的块发送。输出采样率24kHz比输入的16kHz高，翻译后的语音音质比输入更好。

安全机制，临时令牌：

做客户端直连的应用（比如浏览器直接连 WebSocket）时，不想暴露 API 密钥，可以用临时令牌（ephemeral token）。两种用法：

• 锁定配置（默认推荐）： 在服务器端创建令牌时指定 translationConfig ，客户端拿到令牌后不能修改翻译设置。适合你作为开发者已经确定了目标语言的场景

• 解锁配置： 如果想让用户自选目标语言，创建令牌时设置 "lock_additional_fields": [] ，客户端就能自行指定 translationConfig

已集成的开发者平台：

Agora、Fishjam、LiveKit、Pipecat、Vision Agents 已经做好了和 Gemini Live API 的集成，它们提供底层的实时媒体流基础设施，开发者不需要自己处理音频流的工程问题。

快速上手入口：

• 在线体验：https://aistudio.google.com/live?model=gemini-3.5-live-translate-preview

• API 文档：https://ai.google.dev/gemini-api/docs/live-api/live-translate

• 示例代码：https://github.com/google-gemini/gemini-live-api-examples

支持的语言

70多种语言，覆盖全球主要语种。中文支持简体（ zh-Hans ）和繁体（ zh-Hant ）。

↔ 左右滑动查看完整表格
语言代码语言代码语言代码
中文（简体）zh-Hans英语en日语ja
中文（繁体）zh-Hant法语fr韩语ko
西班牙语es德语de俄语ru
葡萄牙语（巴西）pt-BR意大利语it阿拉伯语ar
葡萄牙语（葡萄牙）pt-PT荷兰语nl印地语hi
泰语th越南语vi印尼语id
马来语ms菲律宾语fil土耳其语tr
波兰语pl瑞典语sv乌克兰语uk
捷克语cs丹麦语da芬兰语fi
希腊语el匈牙利语hu罗马尼亚语ro
孟加拉语bn泰米尔语ta泰卢固语te
缅甸语my高棉语km老挝语lo
斯瓦希里语sw豪萨语ha祖鲁语zu
南非荷兰语af阿姆哈拉语am亚美尼亚语hy
阿塞拜疆语az巴斯克语eu白俄罗斯语be
保加利亚语bg加泰罗尼亚语ca克罗地亚语hr
爱沙尼亚语et格鲁吉亚语ka古吉拉特语gu
冰岛语is爪哇语jv卡纳达语kn
哈萨克语kk卢旺达语rw拉脱维亚语lv
立陶宛语lt马其顿语mk马拉雅拉姆语ml
马拉地语mr蒙古语mn尼泊尔语ne
挪威语no波斯语fa旁遮普语pa
塞尔维亚语sr信德语sd僧伽罗语si
斯洛伐克语sk斯洛文尼亚语sl巽他语su
加利西亚语gl希伯来语he乌尔都语ur
乌兹别克语uz阿坎语ak阿尔巴尼亚语sq

安全标记

所有 3.5 Live Translate 生成的音频都用 SynthID 做了水印标记。这个水印人耳听不出来，但可以被技术手段检测到，目的是标记哪些语音是 AI 生成的，防止有人拿实时翻译后的语音去冒充真人。

Model card：https://deepmind.google/models/model-cards/gemini-3-5-audio/

几个能立刻想到的使用场景

↔ 左右滑动查看完整表格
场景具体画面用哪个产品
海外旅行在巴黎问路、在东京点菜、在伊斯坦布尔砍价，手机贴耳朵实时听翻译Google Translate App
跨国团队会议中美日三地同事开周会，各说各的语言，每个人听到自己语言的翻译Google Meet
国际客服客服团队处理多语言来电，不需要按语种分组Gemini Live API 集成
出海直播中文主播面向多语言观众，实时生成多语种配音Gemini Live API 集成
跨国打车/外卖司机和乘客语言不通时的通话翻译Gemini Live API（如 Grab）
课堂/培训留学生用耳机听母语翻译的课堂讲授Google Meet 或 API

传统同声传译员培训周期以年计算，全球能做好的人极少，收费极高。3.5 Live Translate 当然还做不到专业同传的水平，语音复制会飘、相似语言会混淆、多人快速对话会卡声音，这些限制 Google 自己也承认了。

但它把"边听边译"从一个稀缺的专业技能变成了手机上随时可用的功能，覆盖70多种语言。对于旅行问路、跨国开会、打车点菜这些日常场景，够用的门槛已经跨过去了。

API 文档：https://ai.google.dev/gemini-api/docs/live-api/live-translate

在线测试： https://translate.fishjam.io