arXiv cs.CL· Mengzhe Geng·· 10 天前AI 评分13
PACT-SLM：语音智能体何时有足够证据行动？
When Does a Spoken Agent Have Enough Evidence to Act? The PACT-SLM Contract Test
AI 导读
研究者提出 PACT-SLM 契约测试，为流式语音智能体分配首个有效行动时间，同时评估行动身份与时机。主测试用四个留出语义家族的 80 组配对对比，在干净与 15 dB 噪声下生成 1,600 条前缀预测；WavLM Base Plus 的起始后语义标签准确率为 26.03%，在 18.99% 的起始前前缀上暴露行动，仅 5.94% 完整轨迹预测正确。结果显示行动身份与起始时机需分开测量。
正文 · AI 翻译
摘要：流式语音智能体可能在过早行动后仍产生正确的最终动作。最终轮次得分无法揭示每个观察到的语音前缀是否支持已暴露的动作。我们引入了面向语音语言模型轮次转换的部分语音动作契约（PACT-SLM），这是一项受控测试，用于分配首个有效动作时间，并评估动作身份与时机。在主要测试中，来自四个留出语义家族的 80 个配对对比组在干净和 15 dB 噪声渲染下产生了 1,600 个前缀预测。使用源话语语义目标而非平衡分支代码，WavLM Base Plus 达到 26.03% 的合并起始后语义标签准确率（95% 组自助区间 [22.14%, 29.68%]），在 18.99% 的起始前前缀上暴露动作，并精确预测 5.94% 的完整轨迹。其合并标签得分位于 100 个前缀内标签排列的第 96 百分位，低于第 97.5 百分位参考值（26.73%）。在合并起始后标签准确率上，它超过了匹配的文本、标量声学和打乱表示探针。经过时间在起始点上更精确（36.25% 对 23.13%），但在动作身份上准确率较低（9.92% 对 26.03%）。这些结果促使在部分语音评估中分别测量动作身份和起始时机。
| 主题： | 声音（cs.SD）；计算与语言（cs.CL）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2609.38232 [cs.SD] |
| （或 arXiv:2609.38232v2 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.38232 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Mengzhe Geng [查看电子邮件]
[v1]
2026年9月28日星期一 17:11:17 UTC（164 KB）
[v2]
2026年10月7日星期三 11:02:46 UTC（161 KB）
来源：arXiv cs.CL · arxiv.org