Google Duplex 如何演进为在 Gemini 中代你致电商家

媒体报道 Google Research 原文语言:英文

Google 官方博客回顾 Duplex 十年演进,并宣布将其集成进 Gemini 应用的 Tasks 功能,可代用户致电商家处理预约等事务。Duplex 通话获取的信息已在搜索和地图中展示超一万亿次;新功能基于 Gemini 4 模型,还支持分析账单、经 Agent Payments Protocol 处理交易等。

全文

Google Duplex 如何在 Gemini 中演进为代您致电商家

2026年11月20日

Yossi Matias(Google 副总裁兼 Google Research 总经理)、Yaniv Leviathan(Google Research 资深研究员)以及 Janet Zhou(Google 地图产品总监)

当我们于 2018 年推出 Google Duplex 时,它开创了人工智能与本地商家通过电话进行自然语音对话的先河。自那时起,这项技术便在众多 Google 产品中默默发挥作用。这些功能现已直接集成到 Gemini 的任务(Tasks in Gemini)中。

快速链接

Gemini 中的任务

×

完成诸如预订晚餐或预约美发等任务十分耗时。实时电话对话节奏快,且很少按剧本进行。电话那头的人可能会说出任何话,经常在话说到一半时改变想法——而且人们往往依靠微妙的语调变化来暗示轮到谁说话。停顿的时间超过半秒钟,听起来就像是电话断线;而说话太早,又会导致双方互相打断。利用人工智能在电话中得体地完成这些任务,需要我们考虑将高质量的语音理解、上下文推理和语音合成结合在一个单一、低延迟的系统中。

我们将 Google Duplex 引入近十年后,以帮助应对这一挑战。在基础模型进步的推动下,Duplex 架构不断演进,为 Google 搜索和地图等许多核心产品的自主任务完成提供动力。本周,我们在 Gemini 应用的任务中推出了 Duplex,这是一个个人人工智能协作者,可以帮助协调现实世界的琐事,例如代您致电商家并代表用户处理现实世界的请求。在这篇文章中,我们回顾了使其成为可能的历程——历经十年的架构演进,从早期的封闭领域模型转变为完全由 Gemini 构建的统一技术栈。

从封闭领域的通话到 Gemini 中的任务

最初作为一个狭窄、特定任务的系统,很快便扩展为一个共享的对话基础设施,这是与 Google 各个团队合作构建的。

在 COVID-19 疫情期间,营业时间和服务的变化极为迅速,Duplex 加倍努力,自动验证商家信息以保持商家列表的准确性。它仍然是一个重要的数据来源;正如我们在 2023 年所分享的那样,例如,源自 Duplex 电话的商业信息在搜索和地图中已被展示超过一万亿次。

同时,我们与 Android 和硬件团队合作,将这些对话模型直接带到设备端。从 2019 年起,我们在连续五代 Pixel 产品中推出了全新的 Pixel 通话协助(Pixel Call Assist)功能。这些模型继续为“筛选来电”(Call Screen)和“为我保持”(Hold for Me)等功能提供动力,帮助用户过滤未知来电,并在保持队列结束时与真人客服通话,直到用户重新加入。在 2025 年和 2026 年,基础模型在 Google 搜索和地图问答(Ask Maps)中解锁了更广泛的智能代理通话功能,可从宠物美容到汽车修理等各个领域查询报价、产品可用性和服务开放时间。

三代对话架构

在过去十年中,这些通话背后的技术栈经历了三个不同的发展时代,从定制的神经管道演变为使用 Gemini 的统一架构。

1. 大语言模型(LLM)出现前的封闭领域模型

我们在现代语言模型甚至 Transformer 架构发明之前就开始了 Google Duplex 的工作。在早期,为确保商家和用户拥有出色的体验,我们将 Duplex 限制在狭窄的领域内,并在匿名化的特定任务电话对话上训练了自定义循环神经网络模型。在没有预训练世界知识的情况下,我们教会了模型如何高效处理每一种特定类型的任务。在实践中,这意味着要依赖针对每种任务类型的大量训练数据——例如解释餐厅预订的固定流程与检查假日营业时间的区别——以确保系统能够可靠地导航特定领域的逻辑。

2. 早期生成式模型与混合技术栈

随着开放领域基础模型在生产环境中的出现,Google Duplex 开始采用它们。例如,在 2022 年,Duplex 在实时通话中使用了 LaMDA。这些预训练模型简化了理解和常识推理,使系统能够处理意料之外的对话转折和题外话,同时保持立足于上下文,就像标准的餐厅预订一样。

然而,这些早期的生成式模型不如当今的模型那么可预测,有时速度也较慢,因此我们构建了混合技术栈,将用于灵活措辞的生成式模型与确定性状态跟踪和严格的策略防护栏结合起来。这有助于确保用户和企业都能获得良好的体验。

3. 无边界任务与Gemini集成

随着基础模型的进步,通过转向使用自由文本任务描述来提示系统,我们彻底消除了固定垂直领域的限制。这使得模型能够简单地通过提示来定义任务,从而使系统能够推广到新的任务类型和细微差别(例如要求靠窗座位或为婴儿车留出额外空间)以及新的业务类别,而无需从头构建单独的对话模型。

我们的呼叫技术栈使用Gemini来统一多模态理解、规划和对话生成,以便系统能够处理多约束请求——例如围绕日历冲突安排汽车保养——并在接待员建议其他时间段时进行调整。

实时电话通信中的技术障碍

即使拥有前沿模型,实时电话通信仍然带来了仅靠网络等标准数据集进行预训练无法解决的障碍:

针对呼叫前和对话上下文的语用扎根,以及对真实世界意图的理解:网络并不具备捕获与忙碌商家通话情况所需的所有数据。近十年的目标导向通话经验帮助我们的技术栈掌握了语用规范,甚至在通话开始前就开始了。在实践中,这意味着根据过去对话的历史上下文(例如,知道某个特定供应商在周末不接受大型团体的预定),将自由文本任务与企业进行匹配,以预测任务是否可行。在通话过程中,这有助于模型确定在特定时刻询问什么内容是合理的、如何解读礼貌的间接拒绝,以及如何保持通话简短且高效。

在嘈杂声学环境下的亚秒级延迟:通话通过压缩电话线进行,背景环境嘈杂,例如厨房里的碗碟碰撞声、浓缩咖啡机声、街道噪音和旁人的闲聊。我们的技术栈经过微调,可支持低延迟流式推理,以便回复能够以自然的节奏呈现。定制的声学和对话节奏模型协助核心AI系统处理背景噪声和停顿、在预期时停止说话等。

为通话双方进行设计

Duplex 必须对接听电话的企业和对用户一样好用。这一原则塑造了几项设计选择:

清晰披露。每次通话开始时都会明确披露这是一个AI代理——具体而言,是一个来自谷歌的自动呼叫系统。

企业保持控制权。商家可以在其 Google 商业资料设置中选择退出自动呼叫,或者在通话期间直接说“请不要再给我的企业打电话”。

无需设置,零适配。Duplex 通过企业已经在接听的电话发挥作用:无需安装软件,无需维护预订系统,也无需培训员工。无论谁接听电话,都可以像对待任何客户一样处理通话,即使在柜台前排起长队的繁忙时刻也是如此。

一次对话,多项洞察。在一次通话中收集的细节可以回答许多后续问题,因此企业不会被反复询问相同的事情。例如,Google Maps 可以显示 Duplex 收集有关企业的详细信息,例如欢乐时光特惠、露台座位、宠物友好政策、停车提示甚至每周知识问答之夜。

结论

许多日常琐事、本地服务和紧急任务仍然需要与其他人直接交谈才能可靠地协调细节。通过将 Duplex 的功能集成到 Gemini App 的 Tasks 中,我们向闭环迈出了又一步。自然的语音交互成为了一种无缝集成的模态,当在线API或预订表单等结构化数字通道不存在时,代理可以随时部署该模态。使用我们最新的 Gemini 4 模型——包括 Gemini 4 Hydrogen 和 Gemini 4 Neon——Gemini 中的 Tasks 现在可以支持更全面的工作流程,例如分析水电费账单、通过代理支付协议安全处理交易,以及通过电子邮件和丰富通信服务 (RCS) 与用户进行协调。通过这些功能,我们将这项研究带入了下一代人工智能助手。

致谢

我们感谢 Duplex 团队以及 Google 内部引领并参与这一历时十年的历程的所有人。对于推动向 Gemini 驱动的通话过渡并促成 Tasks in Gemini 这一发布的贡献,我们尤其感谢 Yoav Tzur、Sasha Goldshtein、Rafael Goldfarb、Liran Peretz、Ritika Pathak、Sen Li、Ran Manor、Dekel Auster 以及团队中的许多其他人。

正文为 AI 译文。

参考来源

← 返回每日AI报告