arXiv cs.CL· Qing Wang, Qihan Hu, Hang Lv, Yan Yang, Boqing Liu, Xuechao Zhu, Zehan Li, Hongjie Chen, Jian Kang, Jie Li, Yongxiang Li, Lei Xie·· 10 小时前AI 评分34
从转录到重构：GSR-Bench 如何定义并评测有据生成式语音识别
From Transcription to Reformulation: Defining and Benchmarking Grounded Generative Speech Recognition
AI 导读
研究者提出 Grounded Generative Speech Recognition（GSR），将语音识别重新定义为生成有语义依据的文本而非单一转录，并建立包含字面转录、规范化重构、语义重构和语音有据结构化四级的能力层级。
正文 · AI 翻译
作者：Qing Wang、Qihan Hu、Hang Lv、Yan Yang、Boqing Liu、Xuechao Zhu、Zehan Li、Hongjie Chen、Jian Kang、Jie Li、Yongxiang Li、Lei Xie
摘要：语音语言模型已将自动语音识别（ASR）从转写扩展到通用语音到文本生成。然而，现有基准仍假设每段话语只有一个真实转写，这一假设在模型产生可读、格式化或结构化输出时难以成立。在本工作中，我们提出基于语义锚定的生成式语音识别（Grounded Generative Speech Recognition，GSR），将语音识别重新表述为生成语义上有所依据的文本，而非单一转写。我们定义了一个锚定改写空间，用以刻画输入语音所支持的所有有效文本实现，并建立了改写能力的四级层次结构，包括字面转写、规范化改写、语义改写和基于语音的结构化。基于这一表述，我们提出了 GSR-Bench，这是首个旨在评估超越精确转写匹配的生成式语音识别系统的综合基准。GSR-Bench 涵盖多种场景，包括精细化会议转写、跨方言翻译、上下文感知的语音理解，以及静音或噪声声学条件下的鲁棒性。为解决词级评估指标的局限性，我们开发了一个多维评估框架，结合语音锚定评估和基于 LLM 的语义判断，其可靠性通过人类偏好研究得到验证。在从传统 ASR 系统到端到端 Speech-LLM 的代表性架构上进行的广泛实验，揭示了转写保真度与生成式改写能力之间的根本性权衡。我们的分析进一步识别出关键失效模式，包括声学幻觉、无依据生成和指令漂移，为未来锚定生成式语音系统的设计与评估提供了洞见。
| 主题： | 计算与语言（cs.CL）；声音（cs.SD）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.41292 [cs.CL] |
| （或本版本的 arXiv:2610.41292v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.41292 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Qing Wang [查看邮箱]
[v1]
2026年10月30日星期五 05:53:56 UTC（1,507 KB）
来源：arXiv cs.CL · arxiv.org