Sierra 发布 𝜏-i18n 语音智能体多语言评测基准

在我们早前的 𝜏-Voice 实验中，口音是我们在测试的各项因素中导致任务完成率平均下降幅度最大的一个。这引出了一个更广泛的问题：语音智能体对其他语言的来电者效果如何？

今天我们推出 𝜏-i18n（读作 tau-internationalization），它将 𝜏-Voice 扩展到另外五种语言：西班牙语、巴西葡萄牙语、印地语、韩语和普通话。

𝜏-i18n 在跨语言场景中使用相同的航空、零售和电信任务。任务、政策、工具和成功标准保持不变，使我们能够比较不同语言下的表现。

从国际化到本地化

国际化是让产品适应不同语言和地区的基础工作。本地化则是让产品适配某一特定地区的工作。在客户服务中，这可能涉及姓名、日期、货币、产品术语和当地惯例。语音又增加了一层：发音、语码转换、称呼方式，以及人们对话中轮流发言的方式。

完成任务只是一通优质通话的一部分。对话还必须听起来地道，甚至要达到 Clay Bavor 所说的“不合理的本地化”程度。在印地语中，使用女声的智能体可能会说 “मैं आपकी मदद कर सकता हूँ”，而不是 “मैं आपकी मदद कर सकती हूँ”，用阳性形式指代自己。在普通话中，智能体可能会说 “执行取消操作”，而真人只会说 “帮您取消”。两者都能表达意思，但听起来都不太对劲。

我们围绕语言包构建了 𝜏-i18n，让母语者可以为每个地区定义这些选择。语言包会调整来电者身份及匹配的数据库记录、人设、语音、言语习惯和评估规则，同时保持底层服务任务不变。例如，韩国和普通话来电者通常先报姓氏。如果智能体把先听到的名字填入名字字段，即使听对了名字也可能导致身份验证失败。

超越任务完成率

任务完成率告诉我们智能体是否达成了来电者的目标，但并不能说明通话进行得如何。𝜏-i18n 报告两项额外指标：

• 交互衡量智能体是否有效地参与对话。它是否在正确的时间回应或让出话轮？是否避免打断和长篇独白？能否判断出附和声（“嗯哼”）或零散声音不需要回应？我们把最后这项能力称为选择性。交互还衡量工具使用效率，包括智能体是否以正确的参数调用工具，以及是否避免由智能体导致的错误。
• 生成质量衡量来电者实际听到的内容。自然度捕捉翻译腔、语法性别错误、不当语域和遗漏的敬语。语音保真度衡量音频是否准确传达预期的词语、姓名和数字。

我们分别报告这些结果，因为智能体可能完成了任务，但在交互或语言本身方面仍有不足。

智能体在哪些方面失分

在 𝜏-i18n 排行榜上的三个语音智能体和 2,700 通主要通话中，我们看到任务完成率、交互和生成质量方面存在显著差异。表现也因语言不同而有相当大的差异。

在任务完成率上，西班牙语、印地语和葡萄牙语平均分别落后英语 2.4、3.8 和 6.4 个百分点。韩语和普通话尽管运行相同的任务，却分别落后 22.6 和 9.1 个百分点，而韩语是三个智能体表现最弱的语言。

交互环节则暴露出另一组弱点。对每个智能体而言，韩语和普通话通话中的工具失败次数最多。响应性是常见的失败点：GPT Live 1 和 Gemini 3.8 Live 在超过 80% 的通话中出现漏接来电者话轮、回复缓慢或未能让出话轮的情况，而 Grok Voice Think Fast 2.0 的这一比例为 16%。选择性同样薄弱：在 26–60% 的通话中，智能体对附和语、口头语或并非对其说的话回应超过三次。

在生成质量方面，GPT Live 1 在任务完成率（79.9%）和生成质量（63.4%）上均领先。Grok Voice Think Fast 2.0 以 52.6% 领先交互指标，但生成质量仅得 17.7%。响应最快的智能体未必是说话最自然的。

为基准测试引入更多语言和地区

这五项新增只是一个起点。我们已开源了代码库以及 LanguageFactory——语言包背后的框架，以便母语者、研究人员和语言社区能够调整 𝜏-i18n 以支持更多语言和地区。

贡献者将能够构建具有代表性的来电者、审阅语音和示例对话，并定义评估智能体时应遵循的规范。

如果缺少你的语言或地区，我们非常希望你能帮助将其引入 𝜏-i18n。

本文代表 Sierra 的 Edgard dos Santos Paiva、Ruben Valenzuela 和 Keshav Dhandhania，普林斯顿大学的 Karthik Narasimhan 以及 Mercor 的 Victor Barres 的工作。