Stretto 如何用 Amazon Nova 2 Sonic 构建 AI 语音智能体 Tara
How Stretto built an AI voice agent with Amazon Nova 2 Sonic
Stretto 联合 AWS Generative AI Innovation Center 与 CI&T,基于 Amazon Bedrock 上的语音到语音模型 Amazon Nova 2 Sonic 构建了破产咨询语音智能体 Tara,通过电话完成多阶段信息采集并按律师规则筛选线索。
本文由 Stretto 的 Danya Gordin 和 CI&T 的 Marcelo Wzorek 共同撰写。
在 Stretto 构建 AI 语音代理之前,考虑破产的消费者在其 Bankruptcy.com 网站上填写一个包含几个字段的网页表单:债务金额、律师状态和联系信息。这些由表单生成的线索利润微薄。
网页表单线索与完全合格线索之间的差距很大。破产律师更看重包含详细财务数据的线索:债务、资产、车辆、房地产、就业历史和先前申请记录。本可以扩展网页表单来收集这些细节,但表单越长,中途放弃的访客就越多。电话访谈本可以自然地引出这些信息,因为人们在交谈中更愿意分享财务敏感细节,但配备和培训人工接待团队来执行这些访谈成本过高。
Stretto 看到了一个机会:用 AI 语音代理取代网页表单,通过电话进行接待访谈。该代理将以对话方式引导来电者完成完整的破产问卷,并实时提取结构化数据。然后,它会根据律师定义的规则对线索进行分类,以支持律师决策。
挑战在于找到一种语音 AI 解决方案,能够以低延迟、干净的中断处理和情感感知自然地处理敏感的财务对话,且成本使单位经济效益可行。
在本文中,我们将介绍 Stretto 如何与 AWS 生成式 AI 创新中心和 CI&T(AWS 合作伙伴)合作,构建 Tara——一个由 Amazon Nova 2 Sonic(Amazon Bedrock 中的语音到语音模型)驱动的 AI 语音代理。Tara 执行多阶段破产接待访谈,并根据律师定义的规则对线索进行分类。我们涵盖架构、从验证到生产部署的分阶段构建,以及团队如何测试敏感对话的语音质量。
解决方案概述
Tara 是一个通过电话进行破产接待访谈的 AI 语音代理。当来电者拨打 Bankruptcy.com 的号码时,Tara 接听、自我介绍,并引导来电者进行结构化对话。她收集个人信息、财务细节、资产清单和就业历史,同时根据来电者的情绪状态调整语气。通话结束时,Stretto 的系统应用律师定义的规则,将线索分类为合格、不合格或需要更多信息以供律师审查。
该解决方案基于 Amazon Nova 2 Sonic 构建,这是一款可通过 Amazon Bedrock 使用的语音到语音基础模型(FM)。它在单一模型中原生处理语音输入并生成语音输出,而不是串联独立的语音转文本、语言模型和文本转语音组件。该架构旨在降低延迟并产生更自然的对话,这两点对于破产受理电话的敏感性都至关重要。基于 Amazon Bedrock 构建使团队能够通过一个托管服务同时使用 Amazon Nova 2 Sonic 和 Anthropic 的 Claude,无需运行任何模型基础设施。它还为处理敏感财务数据的工作负载带来了 AWS 安全与治理控制。对两个模型的访问由 AWS Identity and Access Management(IAM)管理。发往 Amazon Bedrock 的流量通过虚拟私有云(VPC)端点(AWS PrivateLink)保留在 AWS 网络内。Amazon Bedrock 不会使用提示或模型输出来训练模型(详情请参阅 Amazon Bedrock 中的数据保护)。由于模型与语音桥接、数据库和 Amazon CloudWatch 监控运行在相同的 AWS 环境中,团队可以用一套工具保护并运营整个解决方案。Amazon Nova 2 Sonic 和 Amazon Bedrock 并非在所有 AWS 区域都可用。有关当前区域可用性,请参阅 Amazon Bedrock 支持的区域。
团队选择 Amazon Nova 2 Sonic 而非之前的语音解决方案,原因有三:
- 成本:Stretto 报告称,与之前的解决方案相比,每分钟语音成本降低了 95%,依据是截至 2026 年 4 月 us-east-1 的 Amazon Bedrock 按需定价。
- 延迟:在 Stretto 的测试中,之前的解决方案表现出超过 500 毫秒的首音频延迟,造成尴尬的停顿。Amazon Nova 2 Sonic 专为低延迟设计,以支持自然的对话流畅性。
- 中断处理:处于压力情境中的来电者需要插话、纠正自己并提出澄清性问题。之前的解决方案对打断处理不佳,常常破坏对话流程。Amazon Nova 2 Sonic 旨在处理中断而不中断会话。
下图展示了端到端架构。
图 1:Tara 架构,展示从电话到数据持久化的端到端通话流程
来电者通过 Twilio 联系 Tara,Twilio 打开一个进入 AWS 的 WebSocket 连接。流量经过 AWS WAF 和 Application Load Balancer 到达运行在 AWS Fargate 上的 Amazon Elastic Container Service(Amazon ECS)上的语音桥接,该桥接与 Amazon Nova 2 Sonic(通过 Amazon Bedrock 访问)流式传输音频。通话结束后,带有死信队列的 Amazon Simple Queue Service(Amazon SQS)将转录文本交给异步处理器。该处理器使用 Amazon Bedrock 上的 Anthropic 的 Claude 3 Haiku 提取结构化字段,这些字段持久化在 Amazon Aurora Serverless v2 中。合格的潜在客户按司法管辖区路由给律师。支持服务包括 NAT 网关、VPC 端点(AWS PrivateLink)、Amazon Elastic Container Registry(Amazon ECR)、AWS Secrets Manager 和 Amazon CloudWatch。
Stretto 使用 Twilio 提供电话服务,因为 Tara 的接听流程完全自动化,没有人工坐席接听电话,并且 Stretto 希望与 Amazon Nova 2 Sonic 直接集成,同时保留其现有的 AWS 后端。Twilio Media Streams 通过 WebSocket 传输呼叫者的原始音频,这正是语音桥接所需的输入,而 CI&T 已将其与 Amazon Nova 2 Sonic 集成。对于在人工坐席之间路由呼叫的联络中心工作负载,Amazon Connect 也支持 Amazon Nova 2 Sonic。
该架构使用以下 AWS 服务:
- Amazon Nova 2 Sonic(通过 Amazon Bedrock):为 Tara 的语音对话提供支持的语音到语音基础模型。它在单次处理中同时处理语音识别和响应生成,支持在访谈期间进行结构化数据收集的工具调用。
- Amazon Elastic Container Service (Amazon ECS) 基于 AWS Fargate:一种无服务器计算引擎,运行连接电话层与 Amazon Nova 2 Sonic 的语音桥接容器。语音桥接任务跨三个可用区持续运行,以实现高可用性。
- Amazon Aurora Serverless v2:以多可用区配置部署的兼容 PostgreSQL 的无服务器关系数据库。存储呼叫者档案、接听响应、资格结果和会话元数据。Aurora 的无服务器扩缩容与可变的呼叫量模式相匹配。
- Amazon Bedrock(Anthropic 的 Claude 3 Haiku):处理从对话转录文本中进行结构化数据提取。在 Amazon Nova 2 Sonic 生成转录文本后,Claude 3 Haiku 将类型化字段(姓名、金额、地址、车辆详情)提取到关系模式中。
- Amazon Simple Queue Service (Amazon SQS) 配合死信队列:管理通话后事件的异步 webhook 处理,保留失败消息以便重试。
- AWS WAF、VPC 终端节点和 Application Load Balancer:安全与网络层,帮助保护 API 终端节点、跨可用区路由流量,并提供对 AWS 服务的私有连接。
构建并验证语音代理
团队采用了分阶段方法:先验证语音质量,再构建生产集成,然后在系统经真实呼叫者验证可行后扩大问卷范围。
验证敏感对话的语音质量
破产对话充满情绪。呼叫者往往压力大、犹豫或感到尴尬。语音代理需要听起来有同理心且自然,而不是机械或交易式的。在编写任何集成代码之前,团队专门花了一周时间针对多个呼叫者场景测试 Amazon Nova 2 Sonic 的语音质量。
验证涵盖:
- 呼叫者情绪状态(平静、紧张、犹豫、沮丧)下的语音质量。
- 首音频延迟基准测试,对比之前解决方案超过 500 毫秒的基线。
- 插话和打断处理:呼叫者能否在句子中间插话而不破坏对话?
- 情绪语调适应:当呼叫者听起来痛苦时,代理是否会调整其语速和语调?
该验证步骤生成了一份比较报告,记录了 Amazon Nova 2 Sonic 在每个维度上相对于之前解决方案的表现。该报告成为进入集成阶段的 go/no-go 关卡。
使用真实呼叫者部署到生产环境
在语音质量得到验证后,团队用三周时间完成了端到端集成。通话流程如下:
- 来电者拨打 Bankruptcy.com 的号码。Twilio 的电话通信层接听来电,并与运行在 AWS Fargate 上 Amazon ECS 中的语音桥接服务建立 WebSocket 连接。
- 语音桥接服务在来电者与 Amazon Nova 2 Sonic 之间双向流式传输音频。Tara 进行自我介绍、征得同意,并开始信息采集访谈。
- 通话结束后,完整转录文本进入由 Amazon Bedrock 上 Anthropic 的 Claude 3 Haiku 驱动的提取流水线。该流水线从对话中提取字段并存储到 Amazon Aurora 中。
由律师设计的完整信息采集流程可能持续 15–20 分钟,超过了单次 Amazon Nova 2 Sonic 流式会话的最长时长(当前数值请参阅语音到语音入门)。团队将该会话时长视为一项设计参数,并实现了会话延续模式,这是一种跨会话边界携带对话上下文的方法。语音桥接服务会跟踪与 Amazon Nova 2 Sonic 的每个双向流已打开的时长。在接近上限前不久,它使用相同的系统提示和工具配置打开一个新流,并将此前的对话作为文本历史发送过去。当 Tara 完成当前回复后,桥接服务将来电者的音频切换到新流并关闭旧流,因此对话对来电者而言能够顺畅继续。
初始部署覆盖了现有的 13 字段信息采集表单,收集与网页表单相同的数据点,但通过自然对话完成。这为团队提供了一个生产基线,以便在扩大范围之前进行衡量。
扩大信息采集与潜在客户资格筛选
随着生产试点运行,团队在四周内将问卷扩展到由律师设计的完整信息采集流程。这是范围上的显著扩大:
- 超过 18 个信息采集类别,带有条件分支,即 Tara 提出的问题取决于来电者之前的回答。
- 复杂的关系型数据:车辆(年份、品牌、型号、融资状态、每辆车月供)、房地产物业、个人债务明细项、多个就业与收入来源,以及既往破产申请记录。
- 基于规则的潜在客户排序:Stretto 对每个潜在客户应用律师定义的规则,由律师做出最终决定。由于语音代理比静态网页表单能收集更丰富的条件化数据,这为 Stretto 应用这些规则并准确筛选潜在客户提供了更大的灵活性。
- 潜在客户路由:合格的潜在客户被路由给破产执业律师,而不符合资格标准的来电者则被引导至其他资源。
Amazon Aurora 的架构扩展为完整的关系型数据模型,支持一对多关系。单个来电者记录可能包含四辆车、两处房产以及数十个个人债务明细项。
衡量结果与优化
最后阶段侧重于收集生产数据,并根据真实来电者行为调整系统。团队跟踪了关键绩效指标,包括通话量、平均时长、信息采集完成率、资料完整度、转化率和流失点。
来自生产数据的洞察推动了多项优化:重新排序问题以减少早期挂断,调整条件分支以便在对话更早阶段收集高价值字段,并根据律师反馈修改资格判定阈值。下表展示了两个关键生产指标。
| 平均通话时长(已完成通话) | 约 8 分钟 |
| 数据提取准确率 | ~96% |
质量与合规测试
部署处理敏感财务数据的语音代理,需要的不仅仅是功能测试。AWS 生成式 AI 创新中心(GenAIIC)顾问团队指导开发了一套覆盖四个类别的综合测试框架:
- 正常路径测试:与配合的来电者完成完整的端到端信息采集访谈,覆盖全部问卷。这些通话确认超过 18 个类别能够收集准确的结构化数据,并且资格规则产生正确结果。
- 对抗性测试:来电者提供矛盾信息、在对话中途更改答案、拒绝回答某些问题,或试图操纵资格判定结果。代理需要处理这些模糊情况并保持对话连贯。
- 合规测试:同意收集、披露信息传达以及数据处理工作流。团队验证了代理能够准确传达披露信息并在继续之前收集同意,因为破产信息采集涉及敏感财务信息。
- 打断场景测试:来电者在对话的不同时点打断,包括在披露信息期间、问题中途以及代理回复期间。Tara 应能在不丢失上下文或不要求来电者重复信息的情况下恢复。
生产环境中的负责任 AI 控制
团队将负责任 AI 视为一项生产控制措施,而不仅仅是测试步骤。Amazon Nova 2 Sonic 包含内置安全保护,详见 Amazon Nova 2 Sonic 的 AWS AI 服务卡。在此基础上,该解决方案将重大决策排除在模型之外:线索排序在通话结束后依据律师定义的明确规则运行,最终决定由律师做出。同意与披露信息在信息采集开始前传达并记录,对抗性测试套件检查试图操纵对话的行为不会改变线索结果。除模型推理外,该解决方案使用 Amazon Bedrock 双向流式 API 实现实时音频,使用工具调用在访谈期间捕获结构化数据,并通过 VPC 端点与 Amazon Bedrock 建立私有连接。
GenAIIC 顾问团队还就语音专用应用的提示工程最佳实践提供了指导,包括跨会话延续边界管理对话状态的技术,以及构建在长时间访谈中保持代理人格一致的系统提示的方法。
成果
投入生产约三个月后,Stretto 报告了以下成果:
- 单条线索价值:拥有完整信息采集数据的完全合格线索,对破产律师而言比仅采集少数几个基本字段的网页表单线索价值显著更高。
- 线索转化:Stretto 的早期生产结果显示,即使该解决方案尚未在更多地区广泛推广,转化率相比网页表单已实现 20% 的相对增长。
- 数据质量和通话时长:Stretto 报告称,在其测试中,Tara 提取结构化字段的准确率约为 96%,完成的通话平均约 8 分钟。
- 语音解决方案成本:Stretto 报告称,与之前的解决方案相比,每分钟语音成本降低了 95%。
“我非常感谢 AWS GenAI 创新中心团队。他们的专业知识帮助我们的语音代理 Tara 得以实现,使我们的潜在客户转化率提升了 20%。”
— Danya Gordin,Stretto 首席 AI 架构师
“作为 AWS 生成式 AI 合作伙伴创新联盟的合作伙伴之一,我们可以确认,GenAIIC 计划是真正的催化剂,将客户和合作伙伴聚集在一起,解决实际问题并创造业务影响。对于 Stretto 而言,这意味着在几周内将语音代理投入生产,并彻底改变破产申请受理流程。”
— Marcelo Wzorek,CI&T 执行经理
结论
Stretto 从网页表单线索到 AI 辅助受理面谈的历程,展示了当语音 AI 达到敏感用例的质量标准时所能实现的可能性。通过将 Amazon Nova 2 Sonic 的语音到语音能力与 AWS 上精心设计的架构相结合,团队构建了一个语音代理,它对于讨论个人财务困境的来电者来说足够自然,同时成本效益足以在规模化时带来可观的节省。
分阶段的方法——先验证语音质量,将最小化的受理流程部署到生产环境,然后根据真实世界数据扩大范围——降低了每一步的风险。团队基于经过验证的假设而非预测进行构建。
如果您正在为自己的用例探索 AI 语音代理,以下是一些入门资源:
- 了解 Amazon Nova 2 Sonic 及其语音到语音能力。
- 开始使用 Amazon Bedrock 以访问包括 Amazon Nova 2 Sonic 在内的基础模型。
- 探索 AWS Fargate,用于容器的无服务器计算。
- 了解 AWS 生成式 AI 创新中心,获取针对您的生成式 AI 计划的咨询服务支持。
如果您正在为敏感、高价值的受理流程权衡语音 AI,您的 AWS 客户团队和 AWS 生成式 AI 创新中心可以帮助您确定范围并构建它。
关于作者
Mariah Miller
Mariah 是 AWS Forward Deployed Engineering 中媒体、娱乐、游戏和体育领域的资深生成式 AI 策略师和行业负责人,她曾在 AWS 生成式 AI 创新中心担任该职位。她领导客户任务,与各行业的企业团队(包括金融和法律服务)一起构建生产 AI 系统,并开发可复用的解决方案资产,如多模态视频搜索、代理式商务和语音 AI 代理。她还构建了创新中心的合作伙伴计划。工作之余,她喜欢在户外度过时光。
Danya Gordin
Danya 是 Stretto 的首席 AI 架构师,负责领导大规模 LLM 云基础设施的设计和部署。作为一名全栈 AI 工程师和解决方案架构师,他拥有东北大学人工智能硕士学位,并在医疗保健和基因组学领域从事过 NLP、计算机视觉和机器学习工作。
Marcelo Wzorek
Marcelo 是 CI&T(一家 AI 部署公司)的技术交付高管,负责领导大规模技术转型和 AI 驱动的交付项目。他在 IT 行业拥有超过二十年的经验,从一线的软件开发和数据工程逐步成长为高管层的交付领导者,帮助企业将新兴技术转化为可衡量的业务成果。他专注于将 AI 大规模部署到生产环境、加速企业 AI 应用、提升生产力,并交付可衡量的业务价值。
来源:AWS Machine Learning Blog · aws.amazon.com
