arXiv cs.CL· Md Tahmid Rahman Laskar, Xue-Yong Fu, Seyyed Saeed Sarfjoo, Quinten McNamara, Jonas Robertson, Shashi Bhushan TN·· 12 小时前AI 评分34
从文本到语音：一个可复现、可验证的工具调用 LLM 智能体评测框架
From Text to Voice: A Reproducible and Verifiable Framework for Evaluating Tool Calling LLM Agents
AI 导读
研究团队提出一个数据集无关的框架，用 TTS、说话人变化和环境噪声把已验证的文本工具调用基准转成配对的文本-音频评测，无需重新标注工具 schema 和标准答案。
正文 · AI 翻译
摘要：语音智能体越来越需要从语音中进行可靠的工具调用，而主流的工具调用基准仍基于文本。我们研究能否在不重新标注工具模式和黄金标签的情况下，将经过验证的文本基准转换为受控的基于音频的工具调用评估。我们的数据集无关框架使用文本转语音、说话人变化和环境噪声来创建成对的文本-音频实例，同时保留原始数据集标注。基于在 Confetti 和 When2Call 的音频转换版本上对 7 个全模态模型进行的广泛评估，我们的框架表明性能强烈依赖于模型和任务：Gemini-3.1-Flash-Live 获得最高的 Confetti 分数（70.4），而 GPT-Realtime-1.5 在 When2Call 上表现最佳（71.9）。在 Confetti 上，文本到语音的差距从 Qwen3-Omni 的 1.8 分到 GPT-Realtime-1.5 的 4.8 分不等。对失败案例的针对性分析表明，性能下降最常反映为对语音中参数值的误解。考虑到真实部署场景，我们进一步报告了纯文本结果、基于歧义的重新表述压力测试，以及一种经人类偏好验证的无参考 LLM-as-judge 协议。值得注意的是，我们发现参数至少为 8B 的开源 Qwen3 评判器与专有评判器的一致率超过 80%，支持隐私保护评估。总体而言，我们的框架提供了一种可验证且可复现的第一阶段诊断方法，可补充专门构建的音频语料库。
| 评论： | 已被 Transactions on Machine Learning Research (TMLR) 接收。最终版本将在此处发布：this https URL |
| 主题： | 计算与语言 (cs.CL) |
| 引用为： | arXiv:2605.15104 [cs.CL] |
| （或 arXiv:2605.15104v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.15104 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Md Tahmid Rahman Laskar [查看电子邮件]
[v1]
2026年5月14日星期四 17:22:42 UTC (687 KB)
[v2]
2026年5月20日星期三 10:20:54 UTC (687 KB)
[v3]
2026年10月21日星期三 16:44:29 UTC (687 KB)
来源：arXiv cs.CL · arxiv.org