arXiv cs.CL· Ming-Hao Hsu, Yuxuan Hu, Shujie Liu, Jinyu Li, Yan Lu, Zhizheng Wu·· 2 天前AI 评分26
文本就够了？文本作为语音 LLM 的通用信息瓶颈
Is Text All You Need? Text as a Universal Information Bottleneck for Speech LLMs
AI 导读
研究者提出 Convex Gate（C-Gate），将语音每一帧表示为冻结 token 嵌入的凸组合，用 Whisper-large-v3 编码器加部分适配的 Qwen2.5-7B-Instruct 解码器联合训练语音识别、情感识别与口语推理，单一共享解码器即可完成转录与情感识别。适配后解码器在纯文本基准上指令跟随与 MMLU 下降，GSM8K 与 HellaSwag 持平或超过原模型。
正文 · AI 翻译
摘要：大型语言模型（LLM）为语音理解提供了强大的推理主干，但将连续声学信号整合到预训练的 LLM 中仍然具有挑战性。一个核心设计问题是如何将语音表示与 LLM 的文本输入空间联系起来，同时保留不同语音任务所需的连续变化。在这项工作中，我们提出了 Convex Gate（C-Gate），一种语音-LLM 桥接方法，将每一帧表示为冻结 token 嵌入的凸组合。这种架构上的凸包约束固定了输出码本，同时允许从任务监督中学习连续混合。借助 Whisper-large-v3 编码器、部分适配的 Qwen2.5-7B-Instruct 解码器，以及在语音识别、情感识别和口语推理上的联合训练，C-Gate 通过一个共享解码器执行准确的转录和情感识别，这是我们代表性的语义和声学任务。在纯文本基准上，适配后的解码器失去了指令遵循和 MMLU 准确率，并在 GSM8K 和 HellaSwag 上达到或超过原始模型。我们进一步对训练后的模型设计了分析和干预，以考察桥接序列在何处携带任务信息以及解码器如何读取它。这些发现表明，固定的文本嵌入如何通过连续的语音条件混合来支持语义和声学读出。
| 评论： | NeurIPS 2026 |
| 主题： | 计算与语言（cs.CL）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2606.09366 [cs.CL] |
| （或 arXiv:2606.09366v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.09366 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Ming-Hao Hsu [查看电子邮件]
[v1]
2026年6月8日星期一 11:38:40 UTC（197 KB）
[v2]
2026年10月14日星期三 16:52:10 UTC（210 KB）
来源：arXiv cs.CL · arxiv.org