arXiv cs.CL· Yizhou Peng, Chen Chen, Donghang Wu, Hexin Liu, Eng Siong Chng·· 14 小时前AI 评分31
听够了就行动：语音对话系统中的早期工具调用
Heard Enough to Act: Early Tool Calling in Spoken Dialogue Systems
AI 导读
研究提出一种合成语音对话数据管线，为“请求最早可执行点”提供监督信号，构建了覆盖 48 个领域、26,694 段对话共 786 小时的语料，并制作 τ²-bench 音频版本用于外部评测。
正文 · AI 翻译
摘要：延迟敏感的口语智能体不仅需要知道调用哪个工具，还需要知道何时已经听够了信息可以行动。即使请求已经可执行，等待轮次结束也会延迟执行。然而，现有的口语智能体和口语对话语料库都没有定义请求最早在何时变得可执行。我们引入了一个合成口语对话流水线，提供最早可执行点监督，标记观察到的语音何时为工具及其所需参数提供依据。通过受控任务生成、语音合成与对齐以及门控标注，我们构建了 48 个领域、共 26,694 段对话、总计 786 小时的数据集，训练集和测试集的参数值互不重叠。我们还为 $\tau^2$-bench 创建了音频版本用于外部评估。我们在该语料库上训练了一个全模态语言模型，使其能够进行因果的块级决策，并生成部分转录文本以完成下游调用。该模型在留出对话和外部基准上的工具状态宏 F1 分数分别为 0.48 和 0.47。对于正确的调用，使用相同格式化器时，相对于轮次结束级联的估计平均领先时间为域内 1.8-2.0 秒，在 $\tau^2$-bench 上为 1.1 秒。这些结果展示了一条数据驱动的路径，通向边听边行动的口语智能体。我们将开源该流水线和训练脚本。
| 评论： | 提交至 ICASSP 2027 |
| 主题： | 计算与语言（cs.CL）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.34653 [cs.CL] |
| （或 arXiv:2610.34653v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34653 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yizhou Peng [查看邮箱]
[v1]
2026年10月26日星期一 00:34:30 UTC（234 KB）
来源：arXiv cs.CL · arxiv.org