跳到正文
arXiv cs.CL· Ryo Fukuda, Atsushi Ando, Hiroki Kanagawa, Takatomo Kano, Marc Delcroix, Naohiro Tawara, Yuya Chiba·· 6 天前AI 评分24

M3-DuplexBench:面向全双工语音对话模型的多轮、多语言、多领域基准

M3-DuplexBench: A Multi-Turn, Multilingual, Multidomain Benchmark for Full-Duplex Spoken Dialogue Models

AI 导读

M3-DuplexBench 是一个面向全双工语音对话系统(FDSDS)的多轮、多语言、多领域基准,可对交互时序与回复内容进行受控评估。该基准覆盖英语和日语,横跨闲聊与多轮问答,其中英日问答数据源自同一语料库,支持跨语言的时序与内容对比。它还提供参考条件多轮设置作为可选诊断,实验揭示不同模型在交互模式、语言与领域差异以及对话上下文影响上的模型依赖性。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:全双工语音对话系统(FDSDS)可以边说话边聆听,从而实现自然的对话行为,例如流畅的轮次转换、反馈语处理和用户打断处理。然而,在多轮交互中对 FDSDS 进行受控比较仍然具有挑战性,现有基准在多种语言、对话设置、交互时机和响应内容方面的联合覆盖有限。我们提出 M3-DuplexBench,一个用于 FDSDS 受控评估的多轮、多语言、多领域基准。该基准在英语和日语中,针对随意对话和多轮问答,联合评估交互时机和响应内容。英语和日语问答数据源自同一源语料库,从而支持对时机和内容表现的跨语言比较。我们还提供了一种参考条件多轮设置,作为可选诊断,用于考察对对话历史和轨迹不匹配的敏感性。使用多种 FDSDS 进行的实验揭示了模型特定的交互模式、跨语言和领域的差异,以及对话上下文对时机和内容依赖模型的影响。该基准可在 此 https URL 获取。
主题: 计算与语言(cs.CL)
引用为: arXiv:2607.29125 [cs.CL]
  (或 arXiv:2607.29125v2 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2607.29125

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Ryo Fukuda [查看电子邮件]
[v1] 2026年7月31日星期五 07:56:25 UTC(1,792 KB)
[v2] 2026年10月9日星期五 10:41:08 UTC(1,829 KB)

来源:arXiv cs.CL · arxiv.org