TELEVAL:面向中文交互场景的语音语言模型基准测试
TELEVAL: A Benchmark Designed for Spoken Language Models in Chinese Interactive Scenarios
研究者推出 TELEVAL,一个面向中文语音交互的大规模基准,在不提供任务专用提示词或预设选项的情况下评估语音语言模型(SLM)的真实交互表现。该基准从可靠内容完成度与交互适当性两方面评测,实验发现模型在中文文化问题、方言语音等场景下表现不佳,且难以根据听觉线索调整回应,并出现将感知到的听觉线索描述出来而非回应用户需求的“Caption Trap”失败模式。
作者:Zehan Li、Hongjie Chen、Qing Wang、Yuxin Zhang、Jing Zhou、Hang Lv、Mengjie Du、Yaodong Song、Jie Lian、Jian Kang、Jie Li、Yongxiang Li
摘要:口语语言模型(SLM)被期望在完成任务之外支持自然的口语交互。现有基准测试评估了一系列语义任务和对话能力。然而,任务得分高并不一定意味着可靠且恰当的口语交互。为弥补这一空白,我们推出 TELEVAL,一个聚焦中文口语交互的大规模基准。它在不附加任务特定提示或预定义答案选项的情况下评估对口语输入的响应。TELEVAL 涵盖两个互补方面:(1)可靠的内容实现,衡量在多样声学和语言条件下的语义准确性;(2)交互恰当性,评估对话自然性以及对听觉线索的恰当适应。实验揭示了这两个方面的局限性。在事实性问答数据集上的强劲表现并不能一致地延伸到本地相关知识或具有挑战性的语音条件,例如中国文化问题和方言语音。模型也难以根据听觉线索调整其响应,即使在它们明确识别出这些线索的情况下也是如此。我们进一步记录了一种反复出现的失败模式,称为“字幕陷阱”(Caption Trap),即某些响应描述所感知到的听觉线索,而不是回应用户的对话需求。总体而言,所评估的 SLM 难以提供始终准确且对话恰当的响应。TELEVAL 提供了一个用于评估内容可靠性和对话适应性的诊断框架。
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);声音(cs.SD);音频与语音处理(eess.AS) |
| 引用为: | arXiv:2507.18061 [cs.CL] |
| (或本版本的 arXiv:2507.18061v5 [cs.CL]) | |
| https://doi.org/10.48550/arXiv.2507.18061 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Zehan Li [查看邮箱]
[v1]
2025年7月24日 星期四 03:23:55 UTC(356 KB)
[v2]
2026年1月6日 星期二 08:48:39 UTC(533 KB)
[v3]
2026年1月12日 星期一 03:01:57 UTC(533 KB)
[v4]
2026年8月24日 星期一 13:42:31 UTC(542 KB)
[v5]
2026年11月19日 星期四 11:22:31 UTC(589 KB)
来源:arXiv cs.CL · arxiv.org