跳到正文
arXiv cs.AI· Youngwon Choi, Donghyuk Jung, Hyeonyu Kim, Taeyoun Kwon, Myeongkyun Cho, Moon Hwan Kim·· 10 小时前AI 评分26

仅文本适配的语音 LLM 在口语语义解析中的鲁棒性对比研究

Robustness of Text-Only Adapted Speech LLMs for Spoken Semantic Parsing

AI 导读

研究对比了 Speech LLM 与 ASR-LLM 级联在仅文本任务监督下的鲁棒性,使用 3B 和 7B 模型在三个数据集上测试干净语音及五种 SNR 的 babble 噪声。结果显示 Speech LLM 在命令理解、意图预测和函数调用上整体更优,尤其在高噪声下,但细粒度实体预测提升不稳定;其单样本平均推理时间也更短。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大语言模型(LLM)越来越多地被用于从自然语言指令生成结构化输出,包括语义框架和函数调用。当输入为语音时,该任务变为口语语义解析,可使用语音 LLM 或 ASR-LLM 级联来完成。尽管这两种方法都可以通过纯文本任务监督进行适配,但它们对声学退化的相对鲁棒性仍不清楚。我们在匹配的文本形式监督下,使用 3B 和 7B 模型在三个数据集上比较了这些方法,并在干净语音和五种 SNR 水平的 babble 噪声下进行评估。结果表明,语音 LLM 在命令理解、意图预测和函数调用方面通常表现更好,尤其是在严重噪声下,而在细粒度实体预测方面的改进则不太一致。另一项评估显示,在两种模型规模下,语音 LLM 的每样本平均推理时间都低于 ASR-LLM 级联。
评论: 评审进行中
主题: 人机交互(cs.HC);人工智能(cs.AI);声音(cs.SD);音频与语音处理(eess.AS)
引用为: arXiv:2606.21453 [cs.HC]
  (或 arXiv:2606.21453v2 [cs.HC] 用于此版本)
  https://doi.org/10.48550/arXiv.2606.21453

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Youngwon Choi [查看电子邮件]
[v1] 2026年6月19日星期五 14:11:10 UTC(179 KB)
[v2] 2026年11月18日星期三 13:14:43 UTC(19 KB)

来源:arXiv cs.AI · arxiv.org