研究揭示大型音频语言模型中的音文对齐：跨模态概念神经元

Uncovering Audio-Text Alignment in Large Audio-Language Models through Cross-Modal Concept Neurons

AI 导读

研究提出大型音频语言模型（LALMs）中存在音频与文本表征对齐的共享子空间，并在三个 LALM 和四类声学属性上识别出负责同时表征音频与文本的跨模态神经元。因果干预实验表明，对这些神经元进行引导和停用不仅能验证其对预测的必要性，还能主动操纵模型输出。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：虽然语言模型主干仅使用文本进行预训练，但大型音频语言模型（LALMs）在很大程度上能够识别声学属性，例如情感、说话人性别和口语语言。然而，目前尚不清楚音频表示如何与模型生成文本之前的其他文本表示相整合（如果存在整合的话）。我们假设存在一个共享子空间，其中音频和文本表示是对齐的。为了验证这一假设，我们识别出负责同时表示音频和文本的跨模态神经元。我们发现，在三个 LALM 和四种声学属性类型中，音频神经元与文本神经元之间存在不同程度对齐。因果干预——引导和停用这些神经元——证实了跨模态神经元不仅是预测所必需的，而且还可以被操纵。

主题：	声音（cs.SD）；计算与语言（cs.CL）；音频与语音处理（eess.AS）
引用为：	arXiv:2610.28189 [cs.SD]
	（或 arXiv:2610.28189v1 [cs.SD] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.28189 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Tzu-Quan Lin [查看电子邮件]
[v1] 2026年10月20日星期二 13:27:40 UTC（4,603 KB）

来源：arXiv cs.CL · arxiv.org