PolyAI Dialog-RSN-1 现已上线 Amazon SageMaker JumpStart
PolyAI Dialog-RSN-1 is now on Amazon SageMaker JumpStart
PolyAI 的实时对话推理模型 Dialog-RSN-1 已在 AWS Marketplace 和 Amazon SageMaker JumpStart 上线,可通过一键部署在自己的 AWS 账户内运行 SageMaker 实时推理端点。
Dialog-RSN-1 是一款专为实时复杂对话打造的推理模型,现已在 AWS Marketplace 和 Amazon SageMaker JumpStart 上线。它为前沿对话提供支持:能够实时聆听通话、进行推理并采取行动的智能体。
作为 AWS 客户,您可以通过 AWS Marketplace 订阅 Dialog-RSN-1,并将其作为 SageMaker 端点部署在您自己的 AWS 环境中。您也可以按照使用 Amazon SageMaker JumpStart 部署和评估模型中的步骤,直接从 Amazon SageMaker Studio 进行部署。这意味着,这款专为处理客户对话而设计的模型,可以像其他 Amazon SageMaker 模型一样,通过 AWS Marketplace 订阅进行部署。
在 AWS 内部署 Dialog-RSN-1
Dialog-RSN-1 是首个通过 AWS Marketplace 提供的 PolyAI 模型。它运行在您自己的 AWS 环境中,与支撑 PolyAI 计算、模型训练和推理的 AWS 云相同。
Dialog-RSN-1 在单次处理中直接感知来电者的音频,推理其需求,并实时做出响应。在 SageMaker 上,它像您在那里运行的其他模型一样作为端点部署。它可从您自己的架构访问,通过您的 AWS 账户计费,并受您现有的虚拟私有云(VPC)、AWS Identity and Access Management(IAM)角色和监控覆盖。
编排、电话集成和业务逻辑的所有权仍归您所有。Dialog-RSN-1 为您分担了最难自行构建的部分:理解实时通话并实时响应。该端点使用 OpenAI Realtime 协议,因此现有的 Realtime 客户端只需更改其基础 URL,即可通过 PolyAI 的桥接连接。音频输入为 16 位 PCM 单声道,采样率 16 或 24 kHz(需先转码 G.711 或 Opus)。连接最长持续 30 分钟,且该模型目前仅支持英语。
要开始使用,请在 AWS Marketplace 上找到 Dialog-RSN-1,然后将其直接部署到您自己账户中的 Amazon SageMaker 端点。或者,您也可以直接从 Amazon SageMaker JumpStart 进行部署。
随着 Dialog-RSN-1 现已接入 SageMaker JumpStart,部署 Dialog-RSN-1 只需一键。在 Amazon SageMaker AI 控制台中,打开 Model Hub,从 JumpStart 目录中选择 Dialog-RSN-1,然后选择 Deploy。SageMaker JumpStart 随后会在已为您调优的服务栈上启动实时推理端点。无需管理容器,无需猜测实例类型,也无需手动基准测试。对于自动化工作流,同样的一键部署也可以通过几行 SageMaker Python SDK 代码运行。
Dialog-RSN-1 端点完全在您自己的 AWS 账户内运行。它部署在您的 VPC 中,通过您的 IAM 角色访问,并使用您用于其他所有工作负载的相同 Amazon CloudWatch 日志和指标进行监控。由于推理发生在您的账户内,来电者的音频和转录文本始终处于您控制的边界内。对于处理实时客户对话的模型而言,这有助于满足您的数据驻留和可审计性要求。
为速度和准确性而构建
为实时通话构建的模型可能让您在速度和理解之间做出取舍。为速度构建的模型可能遗漏含义,而为推理构建的模型可能导致来电者等待。Dialog-RSN-1 避免了这种取舍。
借助 PolyAI,你可以构建对话代理,它们能像你的人类坐席一样聆听并处理来电。这些代理能捕捉犹豫、在不满升级前听出情绪,并知道何时开口。
实时客户对话正是 PolyAI 的 Dialog-RSN-1 所擅长的领域,而且它目前已在生产环境中处理实时通话。由于该模型直接对来电者的音频进行推理,它能捕捉语气、犹豫和时机——这些是纯文本转录会丢失的信号——并自行判断回应的恰当时机。
一个能像人类一样聆听通话的模型
Dialog-RSN-1 是一个专注于实时对话的模型。它没有单独的语音转文本步骤,也没有一个推理模型来判断合适的开口时机,因此不存在多次交接。
在实践中,这意味着来电者能更快获得响应:
- 即使通话量激增,打断(barge-in)功能仍能正常工作,而不是为了保护性能而被关闭。
- 响应能跟上节奏,因此模型在推理该说什么时不会落后于对话。
- 转录直接由音频本身生成,因为 Dialog-RSN-1 读取的是实际音频,而不是他人对音频的最佳猜测。
Amazon SageMaker JumpStart 上的 Dialog-RSN-1
Amazon SageMaker JumpStart 是 Amazon SageMaker AI 中的机器学习中心,它的存在是为了缩短从选择模型到在生产环境中运行模型之间的距离。对于 Dialog-RSN-1 而言,这意味着实时对话的前沿技术只需点击几下即可获得。你可以发现它、用自己的数据验证它,并将其部署到安全端点,全部在一个地方完成。以下是你能获得的内容。
图 1:SageMaker JumpStart 中的 Dialog-RSN-1 模型卡片
使用 SageMaker Python SDK 的代码路径在我们的 GitHub 仓库中有说明:在 Amazon SageMaker AI 上部署 PolyAI Dialog-RSN-1。
在投入之前先发现和评估
Dialog-RSN-1 出现在 SageMaker JumpStart 目录中,概览和示例笔记本集中在一处,因此你的团队可以在为基础设施花一分钱之前先了解该模型。要尝试用自己的通话测试该模型,请部署端点并运行 PolyAI 的示例笔记本,它会流式传输录制的来电者音频,并打印模型的轮次决策、回复和转录。
一键部署和针对你的工作负载的优化
在同一张模型卡片上选择“部署”,Amazon SageMaker JumpStart 就会用预配置的服务栈启动一个实时推理端点。无需手动选择容器或猜测实例。真正的便利在于命名的优化配置文件:无需手动调优基础设施,你只需选择与 Dialog-RSN-1 运行方式相匹配的目标。延迟优化可最小化交互式实时通话的首令牌时间(Time to First Token)。吞吐优化可最大化高通话量下的每秒令牌数。成本优化可最小化每请求的基础设施成本。均衡则是通用场景下的折中选择。
由于 Dialog-RSN-1 专为实时响应而构建,你可以使用延迟优化配置文件将这种响应能力直接带到你自己的端点。在部署之前,SageMaker JumpStart 会展示关键性能指标:P50 延迟、首令牌时间和吞吐量。这让你能根据流量为 ml.* 实例选择合适的规格,而无需手动对数十种组合进行基准测试。你可以从控制台运行整个流程,或通过 SageMaker Python SDK 编写脚本,将部署接入持续集成和持续交付(CI/CD)。
图 2:在 SageMaker JumpStart 中部署 Dialog-RSN-1 的工作流
图 3:在 SageMaker JumpStart 中为 Dialog-RSN-1 选择优化配置文件
部署在您的账户中,由您的控制措施管理
端点运行在您自己的账户边界内:位于您的 VPC 中,使用您的 IAM 角色,并沿用您已有的 CloudWatch 日志记录和指标。对于处理实时客户对话的模型而言,这意味着您的通话音频和转录文本都留在您控制的环境中,从而使数据驻留和可审计性保持简单直接。
最终结果是,这个前沿语音模型可以像您的机器学习团队已经运行的其他工作负载一样部署,使用同一个 hub、同一套发现和评估工具,以及同样的安全态势。困难的部分在于 Dialog-RSN-1 所处理的对话,而不在于其背后的基础设施。
如需进一步了解我们前沿对话模型背后的架构以及基准测试背后的评估结果,请阅读我们的 Dialog-RSN-1 发布博文。
立即通过 AWS Marketplace 上的 Dialog-RSN-1 开始使用,或直接从 Amazon SageMaker JumpStart 部署。还可探索 SageMaker JumpStart 预训练模型。
关于作者
Helen Greul
Helen 是 PolyAI 的工程高级副总裁,负责领导团队构建公司的 Agentic Dialog 平台。在加入 PolyAI 之前,Helen 在 Multiverse 领导工程团队,大规模构建 AI 驱动的学习产品。在 Spotify,她参与塑造开发者工具,并在播客平台的上线中发挥了关键作用。
Vamsi Goparaju
Vamsi 在 AWS 领导 Go-to-Market(GTM)和收入加速计划,为客户启用 Inference 和 ModelOps 工作负载,并推动 Amazon SageMaker AI、JumpStart 和 Generative AI 的 OSS 用例和产品功能。他拥有超过 16 年的经验,涵盖 AWS、Dell 和 Infosys,在云、高性能计算(HPC)、人工智能(AI)、机器学习(ML)和分析领域融合了技术深度与业务知识。他拥有德克萨斯 A&M 大学 Mays 商学院的 MBA 学位。
Naidile Murali
Naidile 是 AWS 的产品经理,常驻华盛顿州贝尔维尤。她专注于提升 Amazon SageMaker AI 上的 AI/ML 开发者体验,包括新客户入驻 Studio、SageMaker JumpStart 模型中心,以及 IDE 的 GPU 容量管理。在加入 AWS 之前,她曾在 HSBC 担任软件工程师,并拥有乔治城大学的 MBA 学位。
Gula Nurmatova
Gula 是 AWS 的软件开发经理,常驻美国纽约。她领导 Amazon SageMaker JumpStart 背后的工程团队,让来自 NVIDIA、Meta 和 Mistral 等提供商的基础模型易于在 SageMaker 和 Amazon Bedrock 上发现、评估和部署。在加入 AWS 之前,她曾在 RTX 和 GE 担任工程和工程管理职位,并拥有计算机科学硕士学位
Dan Ferguson
Dan 是 AWS 的解决方案架构师,常驻美国纽约。作为机器学习服务专家,Dan 致力于帮助客户高效、有效且可持续地集成 ML 工作流。
来源:AWS Machine Learning Blog · aws.amazon.com


