arXiv cs.AI· Youngwon Choi, Donghyuk Jung, Hyeonyu Kim, Taeyoun Kwon, Myeongkyun Cho, Moon Hwan Kim·· 10 小时前AI 评分26
仅文本适配的语音 LLM 在口语语义解析中的鲁棒性对比研究
Robustness of Text-Only Adapted Speech LLMs for Spoken Semantic Parsing
AI 导读
研究对比了 Speech LLM 与 ASR-LLM 级联在仅文本任务监督下的鲁棒性,使用 3B 和 7B 模型在三个数据集上测试干净语音及五种 SNR 的 babble 噪声。结果显示 Speech LLM 在命令理解、意图预测和函数调用上整体更优,尤其在高噪声下,但细粒度实体预测提升不稳定;其单样本平均推理时间也更短。
正文 · AI 翻译
摘要:大语言模型(LLM)越来越多地被用于从自然语言指令生成结构化输出,包括语义框架和函数调用。当输入为语音时,该任务变为口语语义解析,可使用语音 LLM 或 ASR-LLM 级联来完成。尽管这两种方法都可以通过纯文本任务监督进行适配,但它们对声学退化的相对鲁棒性仍不清楚。我们在匹配的文本形式监督下,使用 3B 和 7B 模型在三个数据集上比较了这些方法,并在干净语音和五种 SNR 水平的 babble 噪声下进行评估。结果表明,语音 LLM 在命令理解、意图预测和函数调用方面通常表现更好,尤其是在严重噪声下,而在细粒度实体预测方面的改进则不太一致。另一项评估显示,在两种模型规模下,语音 LLM 的每样本平均推理时间都低于 ASR-LLM 级联。
| 评论: | 评审进行中 |
| 主题: | 人机交互(cs.HC);人工智能(cs.AI);声音(cs.SD);音频与语音处理(eess.AS) |
| 引用为: | arXiv:2606.21453 [cs.HC] |
| (或 arXiv:2606.21453v2 [cs.HC] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2606.21453 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Youngwon Choi [查看电子邮件]
[v1]
2026年6月19日星期五 14:11:10 UTC(179 KB)
[v2]
2026年11月18日星期三 13:14:43 UTC(19 KB)
来源:arXiv cs.AI · arxiv.org