arXiv cs.CL· Ming-Hao Hsu, Xiaohai Tian, Jun Zhang, Lu Lu, Yuxuan Wang, Zhizheng Wu·· 3 天前AI 评分27
语音-文本模态差距的逐层分析：几何对齐不等于功能等价
Geometric Alignment without Functional Equivalence: A Layer-wise Analysis of the Speech-Text Modality Gap
AI 导读
研究对比四种开源语音 LLM 在 SpeechMMLU 和 VoiceBench BBH 上的跨层 CKA 与逐层答案 margin，发现 Qwen2.5-Omni 和 MiniCPM-o 的语音与文本表示在中层对齐但后层答案 margin 仍不同，即中层几何对齐不意味着功能等价；Qwen2-Audio 则表现为弱对齐，属于另一种失效模式。
正文 · AI 翻译
摘要：端到端语音大语言模型（LLM）在回答同一问题时，即使语音内容与文本提示一致，其准确率往往也不如文本输入。现有分析通过表示几何来研究这一模态差距，并衡量语音表示与文本表示的对齐程度。几何对齐使该差距具有可度量的形式，但它并不能说明模型是否以相同方式使用对齐后的表示。本工作将表示几何与答案形成联系起来，并追问几何对齐是否意味着功能等价。我们在 SpeechMMLU 和 VoiceBench BBH 上，对四个开放权重语音 LLM 比较了跨层中心核对齐（CKA）与逐层答案间隔。在 Qwen2.5-Omni 和 MiniCPM-o 中，语音与文本表示在中间层对齐，但其后层答案间隔仍然不同，因此中层对齐并不意味着功能等价。而 Qwen2-Audio 则表现出弱对齐，这表明存在一种不同的失效模式。在固定输入和 token 数量下进行的注意力干预，识别出后层注意力分配对答案代码分离的因果效应，而答案代码分离是一个不同于答案正确性的量。压缩语音信号或其 token 序列可修复一部分仅在语音输入时出现的错误。
| Comments: | NeurIPS 2026 |
| Subjects: | 计算与语言（cs.CL）；音频与语音处理（eess.AS） |
| Cite as: | arXiv:2603.01502 [cs.CL] |
| （或 arXiv:2603.01502v2 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2603.01502 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Ming-Hao Hsu [查看电子邮件]
[v1]
2026年3月2日星期一 06:21:43 UTC（6,658 KB）
[v2]
2026年10月14日星期三 11:24:09 UTC（431 KB）
来源：arXiv cs.CL · arxiv.org