arXiv cs.CL· Richard Yucheng He, Chen Xu, Yihang Liu, Tairan Chen, Baodong Cao·· 11 小时前AI 评分40
InteractionBench：在真实语音系统中测量时序、任务准确率、耳语与音量及接地性
InteractionBench: Measuring Timing, Task Accuracy, Whisper and Volume, and Grounding in Real-Time Voice Systems
AI 导读
研究者发布 InteractionBench，一个在同一批录制用户音频上同时测量对话时序、口语任务准确率、耳语与音量、以及二十轮以上对话接地性的基准与评测框架，含 13 个场景、每系统 221 项。
正文 · AI 翻译
摘要：大多数实时语音系统的基准测试只关注一个方面，例如轮次转换、指令遵循、副语言控制或对话记忆，每个方面都有各自的数据和系统集合。我们提出 InteractionBench，这是一个基准测试与评估框架，基于同一批录制的用户音频，在同一批系统上衡量四个维度：对话时序、口语任务准确率、耳语与音量，以及在超过二十轮对话中的依据性。该基准测试在十三个场景中每个系统包含 221 个条目。在任何系统运行之前，我们按规则为口语任务固定预期的发言权控制动作，并从脚本化对话中获取预期答案。我们根据音频信号对耳语进行评分。我们在 1,519 次评分运行中评估了 GPT-Live、GPT-Realtime、Gemini Live、Moshi、PersonaPlex、Freeze-Omni 以及一个基于轮次的级联系统。在六个全双工系统中，时序与口语任务准确率呈秩相关（$\rho = 0.83$），而级联系统具有最高的口语任务得分（38/50）和次低的时序得分。没有任何系统在要求的时间窗口内纠正用户的语法。只有 Gemini Live 在大多数请求中会耳语（8/10）。托管系统通过 67-88% 的依据性探测，而开放全双工模型为 14-35%。时序是在客户端听到各系统的地方测量的，因此托管系统的时序包含网络延迟：对于 GPT-Live，其服务器报告自己的时钟，去除约 1.5 秒的延迟会使其时序得分从 86% 降至 56%。我们还记录了各系统之间协议不同的地方，包括文本指令。
| 评论： | 21 页，1 张图，14 张表 |
| 主题： | 声音 (cs.SD)；计算与语言 (cs.CL)；音频与语音处理 (eess.AS) |
| 引用为： | arXiv:2611.02430 [cs.SD] |
| （或 arXiv:2611.02430v1 [cs.SD] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.02430 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tairan Chen [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 02:53:57 UTC（27 KB）
来源：arXiv cs.CL · arxiv.org