arXiv cs.CL· Hua-Hsuan Chen, Xuanjun Chen, Wei-Chung Lu, Chih-Kai Yang, Yu-Xiang Lin, Sung-Feng Huang, Haibin Wu, Hung-yi Lee·· 3 天前AI 评分37
LALM 后训练究竟学到了什么？重新审视音频理解与推理能力
What Does LALM Post-training Learn? Rethinking Audio Understanding and Reasoning Capabilities
AI 导读
针对大型音频语言模型（LALM）后训练带来的性能提升，受控实验发现这些提升大多并非来自音频理解与推理能力的真实进步：即使没有有效音频信息，提升依然存在，而一旦更换问题格式，提升便基本消失。这表明后训练更多是让模型利用任务特定的文本线索和答题模式，而非习得可泛化的音频理解与推理能力。
正文 · AI 翻译
摘要：后训练通常能提升大型音频语言模型在音频理解与推理基准上的表现。然而，这些提升可能反映的是对特定问题格式（如多项选择题）的适应，而非音频理解与推理能力的真正进步。为了探究 LALMs 究竟从后训练中学到了什么，我们开展了受控实验，将音频理解方面的提升与对特定问题格式的适应区分开来。在不同模型和后训练方法中，我们发现，即使没有信息量丰富的音频，所报告的大部分提升依然存在，但当问题格式改变时，这些提升基本消失。这些发现表明，后训练往往教会模型利用任务特定的文本线索和答案模式，而非发展出可泛化的音频理解与推理能力。
| 评论： | 进行中的工作 |
| 主题： | 声音（cs.SD）；计算与语言（cs.CL）；多媒体（cs.MM）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.19476 [cs.SD] |
| （或 arXiv:2610.19476v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19476 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Xuanjun Chen [查看电子邮件]
[v1]
2026年10月14日星期三 02:54:57 UTC（4,784 KB）
来源：arXiv cs.CL · arxiv.org