Databricks 谈语音智能体：用上下文让语音客服产生真实客户价值

Databricks：Blog·2026-10-29 02:00· 2 小时前AI 评分40

语音智能体已经到来。上下文让它们转化为真正的客户价值。

AI 导读

Databricks 发文阐述语音智能体落地关键在于上下文而非语音本身，其原型用 LiveKit 承载通话、Deepgram 做语音转文字与默认音色、ElevenLabs 提供表现力音色，大脑部分由 Databricks 提供。

正文 · 原文

继续阅读之前： 观看这个简短演示。 

在这个简短演示中，语音智能体在通话进行到一半时于几分之一秒内做出决策，并在不打断对话的情况下改变回应方式。同样的实时决策能力让语音智能体能够切换语言、在恰当时机将呼叫者转接给人工，或为最有价值的客户提供他们期待的体验。

为什么是语音，为什么是现在

想想消费类企业中每天都会发生的三个时刻： 

• 早上 6 点，一名司机因赶不上送货时间窗口而致电调度，要求更改他的码头预约。他正在开车，所以无法使用应用。另外三名司机已经在排队等候，他每多等一分钟，下一单配送就多一分风险。
• 中午，一家得来速有四位顾客排队，只有一名员工戴着耳机，同时负责收款和递送订单。顾客只能通过说话点单，所以队伍前进的速度完全取决于这一名员工处理订单的速度。
• 傍晚，一场风暴导致航班停飞，滞留的旅客致电酒店要求保留房间并推迟入住。站在登机口、两手各提一个包，打电话比上网更简单也更快捷。预订团队只有两个人，却有四十通电话打进来。 

在这些时刻中，语音都是客户联系企业最快或唯一的方式。那么，如果语音最终能最有效地服务客户和企业需求，为什么它常常不可用，或者近来执行得很糟糕？

多年来，答案一直是语音太难做好。这已不再是事实。合成语音如今听起来很自然，对话可以在呼叫者仍在线上时被转成文本并据此采取行动，而如今的语音智能体能够跟上人们在对话中相互回应通常所需的约 200 毫秒。

没有跟上的是大多数公司对它的思考方式。企业 AI 投资在很大程度上面向内部，投向员工助手，而更大的机会在于企业每天与客户和合作伙伴进行的对话。美国最大的快餐品牌之一已经在朝这个方向建设，其语音智能体让顾客只需说话就能将商品加入购物车、更改订单并结账。

语音智能体可以创造价值的示例用例。

从司机更改码头预约到旅客在风暴后保留房间，每一通这样的电话都不仅仅依赖于理解语音。为了发挥作用，智能体需要具备你最好的员工所拥有的同样上下文：谁在来电、他们已经在进行什么事情，以及它被允许对此做什么。

缺失的一环是了解你的客户

大多数语音智能体试点只能证明智能体能进行对话。能证明它可以被信任去服务真实客户的则少得多。上下文弥补了这一差距。有了它，智能体可以针对每位来电者做出调整，遵守你关于它能查看和说什么的规则，并在每次通话中不断改进。没有它，即使是最自然的声音也只能给出泛泛的答案。

设想一次通话。一位忠实客户来电询问延迟的订单。智能体已经知道他们是谁、订购了什么以及包裹在哪里。它表示歉意，提供其有权给出的忠诚度积分，并安排补发。如果客户仍然不满，智能体会在当下察觉，并在几分之一秒内决定将通话转接给下一位可用人员。该人员接起时已掌握完整上下文，因此客户既无需排队等待，也无需重复说明。当患者更改预约，或订阅者在发现一笔不认识的扣费后无法登录时，同样的模式也适用。在每种情况下，当客户离开应用或网站并需要立即得到答复时，智能体都会接手，然后在通话结束后将他们带回同一旅程。

在实时通话中汇集这些上下文才是真正的挑战。它分散在许多系统中，智能体需要在几分之一秒内获取它，而且整个过程必须始终受到治理。这正是 Databricks 的用武之地。

语音智能体背后的大脑：Databricks 上的上下文、本体与治理

语音智能体有两个部分。第一部分是 对话层，负责通话本身：传输音频、将语音转为文本并说出回复。专业合作伙伴在这方面表现出色。在我们的原型中， LiveKit 负责承载通话， Deepgram 处理语音转文本和默认语音， ElevenLabs 添加富有表现力的声音。像 Twilio 这样的电话运营商可以接入普通电话线路。

第二部分是 大脑，由 Databricks 提供。在通话的每一轮中，它会查询来电者的上下文，应用你的业务规则，并选择下一步行动，无论是回答问题、提供优惠，还是将通话转接给人工。它还会记录每个决策，以便你的团队日后审查。对话层决定智能体听起来如何。大脑决定它是否能给出正确答案。

大脑建立在三项已经共同存在于 Databricks 上的基础之上。

• 上下文 是智能体当下需要的数据：属于来电者的客户、订单、产品和政策数据。
• 本体 是这些数据如何连接。它捕捉你的业务所依赖的定义和关系，例如什么使某人成为忠诚度会员、订单属于哪家门店，以及哪项政策适用于哪个产品，从而使智能体能够像你的员工一样对你的业务进行推理。
• 治理 决定谁可以查看什么。在 Databricks 上，AI 智能体遵循你的 企业数据目录 中员工已经遵循的相同访问规则。

对于 Databricks 客户来说，无需搭建新的平台。智能体运行在数据已经所在的地方，并通过经过批准的只读查询，连接到您已经在运行的系统，例如订单、忠诚度和 CRM。

支柱 1：让每个答案都扎根于您的业务

在客户交互过程中，智能体利用您的上下文和本体来查询此人的订单、您的政策和您的产品信息，因此每个答案反映的都是您的业务，而不是来自互联网的通用知识。智能体只能看到属于来电者的记录，并且通过查询您的系统来确认他们的身份，而不是听信他们的一面之词。您的业务决定智能体可以提供哪些优惠、可以给予多少信用额度，以及在哪个节点由人工接管。

如果智能体无法在您的数据中找到答案，它会告知来电者并转接给人工，而不是猜测。它给出的每个答案都可以追溯到其来源记录。敏感话题，例如医疗、财务或安全问题，按设计转接给人工，并且智能体被构建为绝不提供医疗建议。只有对话会经过语音合作伙伴，客户数据保留在您受治理的平台上。

支柱 2：通过快速 AI 决策定制每一次对话

语音智能体需要两种思考方式。有些决策必须在几分之一秒内完成，比如一个有码头问题的司机或一位情绪激动的来电者是否应该立即转接给人工。其他决策则需要仔细推理，比如为延迟订单找出正确的解决方案。研究人员称之为快思考与慢思考，即系统 1 和系统 2，而 AI 现在也正以同样的方式构建。大型语言模型（系统 2）负责仔细推理，而一类新的快速决策模型（系统 1），例如来自 TypeSafe AI的 Jev，负责处理快速判断。Databricks 通过 ai_decide将系统 1 决策引入您受治理的数据，因此智能体可以快速做出判断并展示其置信度。

在语音智能体中，两者在对话的每一轮都并肩工作。

• 忠诚会员或回头客可以获得其完整历史和符合资格的优惠，由您最强大的模型提供支持，而常规问题则以更低的成本获得快速、准确的答案。
• 情绪激动的来电者会被转接给人工，同时附带订单或预订信息、之前的任何投诉以及已经提供的任何优惠。
• 切换语言的来电者会听到智能体也随之切换语言。
• 看到不认识的扣费且无法登录的订阅用户，会对照您的记录进行验证，并直接进入账户恢复流程，而不是在通用队列中等待。
• 打电话来取消的订阅用户会听到他们真正符合资格的挽留优惠，而且是在仍能改变他们想法的时刻。
• 询问症状是否严重的患者会被转接给护士，并附上完整对话记录。
• 报告码头事件的司机会被立即升级处理，以免让您损失一单货运。

这使您能够在真正对客户产生影响的环节使用最强大的模型，而在其他所有环节使用更快、成本更低的模型。

支柱 3：在每次通话中构建学习闭环

这些决策中的每一个都会被记录下来。在电话层处理主叫方同意和录音披露后，每通电话都可以被捕获在一个受治理的位置：说了什么、查询了什么、哪个模型作答，以及每个决策为何做出。你的团队使用已经治理其余数据的同一套策略，控制谁可以访问这些记录以及保留多长时间。该智能体继承 Databricks 平台的安全与合规计划，包括HIPAA 和 SOC 2 Type II 选项，详见 Databricks 信任中心。语音合作伙伴拥有各自的认证，需要在推广过程中进行审查。

正是这些记录让智能体得以改进。每通电话都可以自动进行质量评分，联络中心和客户体验负责人可以用自然语言询问有关通话的问题，例如上周二退款请求为何激增。这些洞察随后可以反馈到更好的提示词和模型中，进一步提升语音智能体的效果。

在 Databricks 上开始使用语音智能体

入门并不需要大型项目。构建模块现已可用，并且在 GitHub 上开源的 Databricks 智能语音智能体（DIVA）蓝图 为你的团队提供了一个可用的起点。语音随后成为你现有系统之上的一条新渠道。

语音智能体负责接听填满队列的常规来电，例如订单状态、续药和重新预约，让你的员工可以专注于需要人工处理的对话：情绪激动的客户、复杂的请求，或者只是更愿意与人交谈的主叫方。当员工接起电话时，完整的历史记录已经显示在其屏幕上；如果出现任何问题，通话会连同完整转录转接给人工。

这正是客户服务的发展方向。Gartner 预测，到 2029 年，智能体式 AI 将在无需人工干预的情况下自主解决 80% 的常见客户服务问题，从而使运营成本降低 30%。

Databricks 行业工程师建议从一个 90 天试点开始，覆盖一个渠道、一个团队以及你最高频的常规来电，例如订单状态、司机签到或供应商确认。在试点开始前，记录当前的单次通话成本、处理时长和客户满意度，并跟踪主叫方是否会再次回来并复购，以便在结束时比较结果。一旦结果经得起检验，你就可以将同一套受治理的设置扩展到更多地点和更多类型的来电。

下次领导层会议上的三个问题

1. 我们最常处理哪些客户和合作伙伴对话，其中哪些今天就可以由智能体准确回答？
2. 如果明天由语音智能体代表我们接听电话，它会知道自己在与谁交谈吗？它会遵循与我们的员工相同的规则吗？
3. 我们能否追踪智能体在通话中做出的每一个决策，并证明它受到了治理？

要查看实际效果，请观看完整演示，并与你的技术团队分享 GitHub 上的 DIVA 蓝图。其中包含编码智能体可直接遵循的现成指令。随后联系你的 Databricks 客户团队，讨论并构思你的首个用例。

你的客户很快将代表你与 AI 智能体对话。关键在于该智能体对他们的了解程度。

来源：Databricks：Blog · databricks.com