arXiv cs.CL· Xinnian Zhao, Chia-Hua Wu, Pu Wang, Hugo Van Hamme·· 9 天前AI 评分22
面向文本兼容的语音到 LLM 桥接预训练：局部原型重建（LPR）
Local Prototype Reconstruction for Text-Compatible Speech-to-LLM Bridge Pretraining
AI 导读
研究提出 Local Prototype Reconstruction（LPR），一种仅训练时使用的轻量正则化方法，要求对齐后的桥接 token 可由冻结 LLM 的少量 token 嵌入邻域重建，并以硬单原型锚定为其极限情形。
正文 · AI 翻译
摘要：语音到 LLM 系统通常通过一个小型可训练桥接器将冻结的语音编码器连接到冻结的大语言模型（LLM）。桥接器通常被视为管道，但它实际上定义了语音到 LLM 接口的几何结构，而预训练目标决定了该接口是否为下游任务提供可复用的初始化。我们通过两个互补属性研究可迁移桥接器：与文本侧的全局对齐，以及局部词汇流形兼容性，即桥接嵌入保持接近冻结 LLM 的输入嵌入邻域。我们通过一个固定的、无头、无时间戳的诊断方法使这一属性可测量，该方法适用于任何目标，并表明下一词预测（NWP）和句子级对比预训练不能完全捕捉 token 级词汇兼容性。然后我们引入局部原型重建（LPR），一种轻量级的仅训练正则化器，要求每个对齐的桥接 token 可从冻结 LLM token 嵌入的小邻域重建，并以硬单原型锚作为其极限情况。在多语言 ASR 和语音翻译上，LPR 改善了迁移，在翻译和低资源适应上增益最大。关键的是，我们的独立诊断与跨目标的下游增益相关，表明词汇流形兼容性可预测语音到 LLM 桥接器的可复用性。
| 主题： | 计算与语言（cs.CL）；声音（cs.SD） |
| 引用为： | arXiv:2610.11159 [cs.CL] |
| （或 arXiv:2610.11159v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11159 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Xinnian Zhao [查看电子邮件]
[v1]
2026年10月8日星期四 03:19:49 UTC（202 KB）
来源：arXiv cs.CL · arxiv.org