Sierra 推出 𝜏-i18n 语音智能体多语言评测基准并开源

Sierra：Blog· Soham Ray·2026-10-22 04:35· 3 小时前AI 评分54

𝜏-i18n：跨语言及超越任务完成的评估

AI 导读

Sierra 发布 𝜏-i18n，将 𝜏-Voice 扩展到西班牙语、巴西葡萄牙语、印地语、韩语和普通话五门语言，使用统一的航空、零售、电信任务跨语言对比。

正文

在我们早前的 𝜏-Voice 实验中，口音是我们测试的因素中导致任务完成率平均下降最大的一个。这引出了一个更广泛的问题：语音智能体对其他语言的来电者效果如何？

今天我们推出 𝜏-i18n （读作 tau-internationalization），它将 𝜏-Voice 扩展到另外五种语言：西班牙语、巴西葡萄牙语、印地语、韩语和普通话。

𝜏-i18n 在各语言中使用相同的航空、零售和电信任务。任务、政策、工具和成功标准保持不变，使我们能够跨语言比较性能。

从国际化到本地化

国际化是让产品适应不同语言和地区的基础工作。本地化则是使其适配某一特定地区的工作。在客户服务中，这可能涉及姓名、日期、货币、产品术语和当地惯例。语音又增加了一层：发音、语码转换、称呼形式以及人们对话中轮流发言的方式。

完成只是良好通话的一部分。对话还必须听起来地道，甚至达到 Clay Bavor 所说的“不合理的本地化”程度。在印地语中，使用女声的智能体可能会说 “मैं आपकी मदद कर सकता हूँ” 而不是 “मैं आपकी मदद कर सकती हूँ”，以阳性形式指代自己。在普通话中，智能体可能会说 “执行取消操作”，而真人只会说 “帮您取消”。两者都能传达意思，但听起来都不太对。

我们围绕语言包构建了 𝜏-i18n，让母语者可以为每个地区定义这些选择。语言包会调整来电者身份和匹配的数据库记录、人设、语音、言语习惯和评估规则，同时保持底层服务任务不变。例如，韩国和普通话来电者通常先报姓氏。如果智能体将第一个说出的名字放入名字字段，即使听对了名字也可能导致身份验证失败。

超越任务完成

任务完成告诉我们智能体是否实现了来电者的目标。它并不告诉我们通话进行得如何。𝜏-i18n 报告另外两项指标：

交互衡量智能体是否有效地参与对话。它是否在正确的时间回应或让出话轮？它是否避免打断和长篇独白？它能否判断何时一个附和（“嗯哼”）或杂音不需要回应？我们把最后这项技能称为选择性。交互还衡量工具使用效率，包括智能体是否以正确的参数调用工具并避免智能体导致的错误。
生成质量衡量来电者实际听到的内容。自然度捕捉翻译腔、语法性别错误、不当语域和遗漏的敬语。语音保真度衡量音频是否准确传达预期的词语、姓名和数字。

我们分别报告这些结果，因为智能体可能完成了任务，但在交互或语言本身上仍然不达标。

智能体在哪里失分

在 𝜏-i18n 排行榜上的三个语音智能体和 2,700 通主要通话中，我们看到任务完成、交互和生成质量方面存在显著差异。性能也因语言而差异很大。

在任务完成方面，西班牙语、印地语和葡萄牙语平均分别落后英语 2.4、3.8 和 6.4 个百分点。韩语和普通话尽管运行相同的任务，却分别落后 22.6 和 9.1 个百分点，而且韩语是三个智能体表现最弱的语言。

交互揭示了另一组弱点。对每个智能体而言，韩语和普通话通话的工具失败最多。响应性是常见的失败点：GPT Live 1 和 Gemini 3.8 Live 在超过 80% 的通话中漏掉来电者的一轮发言、回复缓慢或未能让出话轮，而 Grok Voice Think Fast 2.0 为 16%。选择性也较弱：在 26–60% 的通话中，智能体对附和语、口头习惯或并非针对它的语音回应超过三次。

而在生成质量方面，GPT Live 1 在任务完成（79.9%）和生成质量（63.4%）上均领先。Grok Voice Think Fast 2.0 以 52.6% 领先交互，但生成质量仅得 17.7%。响应性最强的智能体未必是最自然的说话者。

为基准引入更多语言和地区

这五项新增只是一个起点。我们已开源我们的代码库和 LanguageFactory——语言包背后的框架，以便母语者、研究人员和语言社区能够为更多语言和地区适配 𝜏-i18n。

贡献者将能够构建有代表性的来电者、审阅语音和示例对话，并定义评估智能体所应遵循的规范。

如果缺少你的语言或地区，我们很希望你能帮助将其引入 𝜏-i18n。

代表 Sierra 的 Edgard dos Santos Paiva、Ruben Valenzuela 和 Keshav Dhandhania，普林斯顿大学的 Karthik Narasimhan 以及 Mercor 的 Victor Barres 的工作。

来源：Sierra：Blog · sierra.ai