arXiv cs.CL· Zewen Zhan, Hui Lu, Xueyuan Chen, Huimeng Wang, Yikai Huang, Xixin Wu, Shiyin Kang, Bin Xia, Zhiyong Wu·· 11 小时前AI 评分31
LibriSpeech-Real-QA：面向流式语音问答的基准测试
LibriSpeech-Real-QA: A Benchmark for Streaming Question Answering
AI 导读
研究者提出 LibriSpeech-Real-QA，一个基于 LibriSpeech 构建的实时语音交互数据集与基准，用于评估语音大模型能否在音频持续流入时识别目标词并作答。测试显示，多款主流实时商用模型仍倾向于等整段语音结束后才响应。研究还探索了多种建模设计，使预训练语音大模型能够完成该任务，并为后续研究建立了基线。
正文 · AI 翻译
摘要：大多数语音大语言模型（SLM）仍以离线方式处理语音。它们只有在接收到完整的语音片段后才开始响应。然而，许多现实应用需要流式语音交互，即音频持续流入，机器需要根据截至目前接收到的音频块来回答问题。例如，用户可能要求系统在某人说话时持续统计其名字被提及了多少次。我们观察到，实时语音交互缺乏基准和评估协议。受此启发，我们提出了 LibriSpeech-Real-QA，一个用于实时语音交互的数据集和基准。我们从 LibriSpeech 中构建了不同类型的实时问答对，以评估语音 LLM 能否在流式音频中识别目标词。我们评估了几个流行的实时商业模型，发现它们仍然倾向于在语音轮次结束后才做出响应。我们证明可以使预训练的 SLM 执行此任务，在此过程中我们探索了几种建模设计，并为未来的研究建立了坚实的基线。
| 评论： | 5 页，1 张图，6 张表。已提交至 IEEE ICASSP 2027 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06496 [cs.CL] |
| （或 arXiv:2611.06496v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06496 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zewen Zhan [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 13:30:54 UTC（97 KB）
来源：arXiv cs.CL · arxiv.org