Sierra 发布 𝜏-Entity 基准，检验语音智能体能否准确采集姓名、电话等实体信息

Sierra：Blog· Soham Ray·2026-10-22 22:02· 1 小时前精选AI 评分60

𝜏-Entity: Can voice agents get the details right?

AI 导读

Sierra 发布 𝜏-Entity 基准，测量语音智能体能否正确采集、识别错误并修复姓名、电话号码、地址和邮箱等细节，包含 10 种实体类型共 200 个任务，并与 𝜏-i18n 一样覆盖六种语言。

推荐理由

Sierra 自建基准和论文量化了语音智能体在准确采集姓名、电话等细节上的失败率，并给出可迁移的验证策略效果数据。

语音智能体能够处理日益复杂的对话，但有时导致通话失败的其实很简单：把一个名字、电话号码或电子邮件地址弄对。我们在 𝜏-Voice 中反复看到这一瓶颈：智能体弄错一个细节，还没能提供帮助就先在身份验证上失败了。

今天我们推出 𝜏-Entity，这是一个基准，用于衡量智能体能否正确捕获细节、识别出细节可能有误，并修复错误。

𝜏-Entity 在十种实体类型（包括姓名、电话号码、地址和电子邮件）的 200 项任务上测试语音智能体。每通电话聚焦于单个字段，来电者配合，在被要求时会准确拼写。大多数通话耗时不到两分钟。

即使在这种简单的设定下，如今的语音智能体也难以把细节弄对。

基准内部

每项任务都从一个缺失的值开始。智能体必须向来电者询问该值并正确提交。成功要求存储的值与预期值完全一致。我们改变三件事：值本身的难度、来电者的行为（如纠正和重新开始）以及音频环境。

然后我们测量 Pass³：智能体能否在常规、高噪声和高语音条件下成功完成同一任务。

这让我们能区分两个问题：智能体能否捕获该值？以及随着条件变化，它能否可靠地做到？

当前智能体的得分

在汇集全部六种 𝜏-i18n 语言的 𝜏-Entity 排行榜上，GPT Live 1 领先：它在 60.3% 的常规通话中正确捕获该值，但仅在 34.0% 的任务中在全部三种条件下都成功。Gemini 3.8 Live 和 Grok Voice Think Fast 2.0 在常规条件下分别达到 43.8% 和 44.2%，在全部三种条件下则降至 19.5% 和 24.0%。

仅英语更容易：GPT Live 1 在常规通话中达到 74.0%，在全部三种条件下达到 47.5%。西班牙语、葡萄牙语和印地语接近英语，对 Gemini 和 Grok 而言得分高于英语，但韩语 Pass³ 降至 3.5–8.5%，普通话在各智能体中降至 12.5–24.5%。

知道何时放慢速度

当人们不确定自己是否听对时，他们会放慢速度、请对方重复、拼写名字或确认所听到的内容。智能体只识别出部分应当放慢速度的理由，而漏掉了其他理由。

在 𝜏-Elicitation 论文中，我们将验证努力度量为智能体在通话中进行复述和拼写请求的次数，然后比较了该行为在熟悉与不熟悉实体、简单与困难值、嘈杂与干净环境以及不同来电者声音下的表现。

该研究中的智能体对某些类型的难度做出了适应：在各系统中，它们对困难和陌生实体验证得更仔细。但只有 Grok 在噪声下验证得更多，且没有任何系统对它最难应对的来电者声音投入更多验证努力。

换言之，智能体识别出了一些警示信号，但并不能可靠地适应所有信号。

再次询问只是解决方案的一部分

在论文中，我们还测试了规定一种验证策略能否弥合差距。规定的顺序是：询问，让来电者拼写该值或复述，确认并纠正，然后提交。

当智能体自行选择验证策略时，在所有三种条件下，只有 14–41% 的任务成功。规定的顺序将这一比例提升至 37–54%，根据配置不同，提升了14–31 个百分点。但额外的谨慎需要付出时间代价：每次调用会多花 21–28 秒。

即使智能体意识到自己可能出错，也不保证能恢复。在论文的行为分析中，智能体验证的初始错误捕获中，最终只有 24–37% 被纠正。有时智能体会重复同样的错误。另一些时候，它会用一个新的错误值替换原来的值。只有当智能体能正确利用答案时，追问才有用。

当一次调用需要多个字段时，错误也会累积。在论文的多字段研究中，尽管单个字段的准确率仍为 75%，但三字段调用的成功率只有 53%。在针对相同多字段任务的另一项对比中，验证每个字段并允许重试将成功率从 64% 提高到 82%。由于该干预措施结合了验证和重试，我们无法区分各自贡献了多少。

方向是明确的：可靠的语音智能体需要识别不确定性、验证正确的内容，并在错误发生时真正修复错误。

现状如何

这些结果指向两个机会：更好地决定何时以及如何验证，以及在出错时进行更可靠的纠正。只有当智能体能利用答案来纠正其捕获的内容时，追问才有帮助。

这并不意味着每次交互都需要尽可能长的验证过程。规定的验证提高了可靠性，但花费更多时间。挑战在于知道何时需要额外努力，并让这种努力发挥作用。

𝜏-Entity 提供了受控任务，用于衡量跨实体类型、呼叫者行为和环境方面的进展。我们与 𝜏-i18n 一同推出它，并且它已经覆盖相同的六种语言。

感谢 Mercor 的 Victor Barres 的合作。

来源：Sierra：Blog · sierra.ai