arXiv cs.CL· Koki Ryu, Hitomi Yanaka·· 11 小时前AI 评分38
VocalGrad：评估音频语言模型的声学感知能力
VocalGrad: Evaluating Acoustic Perception in Audio Language Models
AI 导读
研究者提出 VocalGrad 基准，将声学感知评估简化为时间变化方向的二分类任务，以剥离高层推理与语义理解的影响。结果显示，人类标注者准确率很高，而当前最先进的音频语言模型（LALMs）仅接近随机水平。线性探测进一步揭示两类失败模式：部分类别信息保留在内部表示中但未被语言模型头利用，另一些类别信息随层数加深逐渐难以线性解码。
正文 · AI 翻译
摘要：近期的大型音频语言模型（LALMs）已将其能力从词汇层面的语音理解扩展到需要副语言和非语言音频理解的任务，例如情绪识别。然而，这些模型仍难以可靠地利用声学信息，尤其是当声学信息与口语语言内容同时出现时。现有基准未能清晰区分声学感知与更高层次的推理，导致难以定位这些失败的根源。为解决这一问题，我们提出了 VocalGrad，一个旨在评估 LALMs 感知低层次声学变化能力的基准。VocalGrad 将该问题表述为对时间变化方向的简单二分类，从而使评估在很大程度上独立于更高层次的推理或语义理解。我们的基准结果揭示了人类标注者与最先进 LALMs 在声学感知上的显著差距：人类标注者达到高准确率，而 LALMs 的表现接近随机水平。我们进一步通过线性探测来识别这些模型中的结构性瓶颈。我们的分析揭示了两种不同的失败模式：对于某些类别，任务相关信息保留在内部表示中，但未被语言模型头利用；对于另一些类别，信息在模型各层中逐渐变得难以线性解码。总体而言，我们的结果揭示了 LALMs 在受控环境下对声学变化建模的重大局限，并暴露了无法从文本输出中观察到的表示差异。
| 评论： | NeurIPS 2026（评估与数据集方向）。数据集页面：此 https URL |
| 主题： | 声音（cs.SD）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23745 [cs.SD] |
| （或 arXiv:2610.23745v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23745 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Koki Ryu [查看电子邮件]
[v1]
2026年10月16日星期五 16:54:35 UTC（1,840 KB）
来源：arXiv cs.CL · arxiv.org