Google Duplex 如何演进为 Gemini 中替你致电商家的能力
How Google Duplex evolved to also call businesses for you in Gemini
Google 本周在 Gemini App 的 Tasks 中上线 Duplex,可代用户致电商家完成预约等现实事务。文章回顾 Duplex 近十年架构演进,从预训练语言模型之前的封闭领域 RNN 模型,到 2022 年在实时通话中使用 LaMDA 的混合栈,再到用 Gemini 统一多模态理解、规划与对话生成,并支持自由文本任务描述。
Google 复盘 Duplex 十年架构演进,说明电话代打能力如何从封闭领域模型走到 Gemini 统一栈。
完成预订晚餐或预约理发这类任务非常耗时。实时电话对话节奏很快,很少按脚本进行。电话那头的人几乎什么都能说,常常说着说着就改变想法——而且人们往往依赖细微的语气变化来表明该谁说话了。停顿多半秒,听起来就像通话断了;说得太早,又会变成互相抢话。要借助 AI 在电话中得体地完成这些任务,我们需要让高质量的语音理解、上下文推理和语音合成在一个低延迟系统中协同工作。
大约十年前,我们推出了 Google Duplex 来帮助应对这一挑战。在基础模型进步的推动下,Duplex 架构不断演进,为 Google 搜索和地图等众多核心产品中的自主任务完成提供支持。本周,我们在 Gemini 应用中的 Tasks 中推出了 Duplex,这是一个个人 AI 协作者,可以帮你协调现实世界中的琐事,比如替你致电商家,代表用户处理现实世界中的请求。在这篇文章中,我们回顾了使这一切成为可能的十年架构演进——从早期封闭领域的模型,走向完全用 Gemini 构建的统一技术栈。
从封闭领域通话到 Gemini 中的 Tasks
最初只是一个狭窄的、针对特定任务的系统,很快便扩展为共享的对话基础设施,由 Google 各团队协作构建。
在新冠疫情期间,营业时间和服务快速变化,Duplex 加大了自动核实商家信息的力度,以保持商家信息准确。它至今仍是重要的数据来源;例如,正如我们在 2023 年分享的,来自 Duplex 电话通话的商家信息已在搜索和地图中展示超过一万亿次。
与此同时,我们与 Android 和硬件团队合作,将这些对话模型直接带到设备端。从 2019 年开始,我们在连续五代 Pixel 上推出了新的 Pixel Call Assist 功能。这些模型持续为 Call Screen 和 Hold for Me 等功能提供支持,帮助用户过滤未知来电,并在等待队列结束、用户重新接入之前与真人客服通话。在 2025 年和 2026 年,基础模型在 Google 搜索和 Ask Maps 中解锁了更广泛的智能体通话能力,可查询报价、产品供应情况以及从宠物美容到汽车维修的服务空档。
对话架构的三代演进
在过去十年中,这些通话背后的技术栈经历了三个不同时代的演进,从定制的神经网络流水线走向使用 Gemini 的统一架构。
1. 大语言模型之前的封闭领域模型
我们早在现代语言模型出现之前,甚至在 transformer 本身被发明之前,就已经开始着手 Google Duplex 的工作了。在早期阶段,为了确保商家和用户都能获得良好体验,我们将 Duplex 限制在狭窄的领域内,并基于匿名化的、特定任务的电话对话训练定制的循环神经网络模型。由于没有预训练的世界知识,我们教会模型如何高效地处理每一种特定类型的任务。在实践中,这意味着每种任务类型都依赖大量训练数据——例如理解餐厅预订与查询节假日营业时间之间截然不同的固定流程——以确保系统能够可靠地应对特定领域的逻辑。
2. 早期生成模型与混合技术栈
随着开放领域基础模型的出现,Google Duplex 开始在生产环境中采用它们。例如,2022 年 Duplex 在实时通话中使用了 LaMDA。这些预训练模型简化了理解和常识推理,使系统能够处理意料之外的对话转折和跑题内容,同时仍像标准餐厅预订那样紧扣上下文。
然而,这些早期生成模型不如今天的模型可预测,有时也更慢,因此我们构建了混合技术栈,将用于灵活措辞的生成模型与确定性的状态跟踪和严格的策略护栏相结合。这有助于确保用户和商家都能获得良好体验。
3. 无界任务与 Gemini 集成
随着基础模型的进步,我们通过改用自由文本任务描述来提示系统,彻底取消了固定垂直领域的限制。这使得模型只需通过提示即可定义任务,让系统能够泛化到新的任务类型和细微需求(例如要求靠窗座位或为婴儿车留出额外空间)以及新的商家类别,而无需从头构建单独的对话模型。
我们的通话技术栈使用 Gemini 统一多模态理解、规划和对话生成,使系统能够处理多约束请求——例如围绕日程冲突安排汽车保养——并在接待员建议另一个时间段时灵活调整。
实时电话通话中的技术障碍
即使拥有前沿模型,实时电话通话仍会带来仅靠标准数据集(如网络数据)预训练无法解决的障碍:
- 通话前与对话上下文的语用落地,以及真实世界意图理解:网络并不包含捕捉与忙碌商家通话如何展开所需的全部数据。近十年的目标导向通话经验帮助我们的技术栈掌握语用规范,甚至从通话开始之前就已发挥作用。在实践中,这意味着根据过往对话的历史上下文将自由文本任务与商家匹配(例如,知道某个特定商家周末不接受大型团体预订),以预测任务是否可行。在通话过程中,这有助于模型判断在特定时刻询问什么才合理、如何解读礼貌的间接拒绝,以及如何保持通话简短高效。
- 嘈杂声学环境下的亚秒级延迟:通话通过压缩的电话线路进行,背景中充斥着厨房里的碗碟碰撞声、浓缩咖啡机声、街道噪音和旁人交谈等响亮声响。我们的技术栈针对低延迟流式推理进行了调优,因此回复能以自然的节奏送达。定制的声学与对话节奏模型协助核心 AI 系统处理背景噪音和停顿、在预期时停止说话等。
为通话两端而设计
Duplex 必须对接听电话的企业和对用户一样好用。这一原则塑造了若干设计选择:
- 明确披露。每通电话开始时都会明确披露这是 AI 代理——具体来说,是来自 Google 的自动化系统。
- 企业保持掌控。商家可以在其 Google Business Profile 设置中选择退出自动呼叫,或直接在通话中说“请停止致电我的企业”。
- 无需设置,零适配。Duplex 通过企业已经在接听的电话工作:无需安装软件、无需维护预订系统、无需培训员工。接电话的人可以像对待任何顾客一样处理来电,即使是在柜台排起长队的忙碌高峰时段。
- 一次对话,多重洞察。一次通话中收集到的细节可以回答后续的许多问题,因此企业不会被反复询问同样的事情。例如,Google Maps 可以显示 Duplex 收集到的企业详情,如欢乐时光特惠、露台座位、宠物友好、停车提示,甚至每周的问答之夜。
结论
许多日常琐事、本地服务和紧急任务仍然需要与另一个人直接交谈,才能可靠地协调细节。通过将 Duplex 的能力集成到 Gemini App 中的 Tasks,我们朝着闭合这一环又迈进了一步。自然语音交互成为一种无缝集成的模态,代理可以在在线 API 或预订表单等结构化数字渠道不存在时随时启用。借助我们最新的 Gemini 4 模型——包括 Gemini 4 Hydrogen 和 Gemini 4 Neon——Gemini 中的 Tasks 现在可以支持更全面的工作流,例如分析水电费账单、通过 Agent Payments Protocol 安全处理交易,以及通过电子邮件和富通信服务(RCS)与用户协调。通过这些能力,我们正将这项研究带入下一代 AI 助手。
致谢
我们感谢 Duplex 团队以及 Google 上下所有引领和参与这段长达十年旅程的人。为推动向 Gemini 驱动呼叫的转型、并使此次在 Gemini 中 Tasks 的发布成为可能,我们尤其感谢 Yoav Tzur、Sasha Goldshtein、Rafael Goldfarb、Liran Peretz、Ritika Pathak、Sen Li、Ran Manor、Dekel Auster 以及团队中的许多其他人。
来源:Google Research · research.google