arXiv cs.CL· Edesio Alcoba\c{c}a, Kevin Rossell, Aman Gupta, Shao Tang, Jiwoo Hong, Pabel Carrillo-Mendoza, Wanderson Concei\c{c}\~ao Ferreira, Alvaro Tedeschi, Zayd Simjee, Shreya Rajpal, Bruno Finardi Hime, Christian Sousa, Luis Moneda, Herbert Fei, Daniel Silva, Rohan Ramanath·· 11 小时前AI 评分42
部署前先模拟：Nubank 用 Snowglobe 在 1.4 亿规模下筛选客服 AI 智能体
Screen Before You Serve: Simulation for Production Customer Experience AI Agents at 140M Scale
AI 导读
Nubank 用 Snowglobe 模拟器在部署前筛选客服 AI 智能体，在 Card Delivery 及其后继 Card Management 的 4 个已部署版本上，模拟与生产的版本级二元评估分数高度相关。
正文 · AI 翻译
作者：Edesio Alcobaça、Kevin Rossell、Aman Gupta、Shao Tang、Jiwoo Hong、Pabel Carrillo-Mendoza、Wanderson Conceição Ferreira、Alvaro Tedeschi、Zayd Simjee、Shreya Rajpal、Bruno Finardi Hime、Christian Sousa、Luis Moneda、Herbert Fei、Daniel Silva、Rohan Ramanath
摘要：客户体验（CX）智能体使用工具和大语言模型来处理客户请求，并引导与组织产品之间的对话交互。改进这些智能体，尤其是在受监管行业中，十分困难：它们必须检测意图、遵循复杂的运营策略并可靠地使用工具。人工端到端测试的覆盖范围有限，而线上实验会让客户暴露于可能侵蚀信任的故障之中。
我们提出了一种假设驱动的模拟工作流，用于在部署前筛选候选 CX 智能体。合成客户会对智能体的回复做出反应，模拟的工具输出则支持多步骤的智能体工作流，而无需调用生产后端。我们在 Nubank 的 Card Delivery 智能体及其扩展后继版本 Card Management（Nubank 在巴西流量最高的聊天支持智能体）上使用了 Snowglobe 模拟器。在 4 个已部署版本中，模拟与生产的版本级二元评估器得分显示出高度相关性。模拟引导的迭代在线上 A/B 测试中将交易净推荐值（tNPS）提高了 36.69 分。我们还在超过 16,000 次模拟对话中筛选了开放权重配置。在随后的一次线上 A/B 测试中，所选模型将自助服务率（SSR）提高了 8.82 个百分点，达到 Nubank 观察到的最高水平，而 tNPS 无统计学显著变化。模拟使得对模型、推理设置和提示词进行广泛探索成为可能，且无需让客户暴露于风险之中，从而实现了仅靠线上实验难以推进的生产改进。
| 评论： | 17 页，11 张图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2609.30137 [cs.AI] |
| （或 arXiv:2609.30137v2 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2609.30137 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Aman Gupta [查看邮箱]
[v1]
2026年9月24日 星期四 17:07:38 UTC（2,728 KB）
[v2]
2026年11月5日 星期四 18:38:42 UTC（2,728 KB）
来源：arXiv cs.CL · arxiv.org