arXiv cs.CL· Xiutian Zhao, Luqi Sun, Bj\"orn Schuller, Berrak Sisman·· 11 小时前AI 评分24
大型音频语言模型的认知障碍判断：因果影响集中，诊断信息分散
Concentrated Causal Influence, Distributed Diagnostic Information: Cognitive Impairment Decisions in Large Audio-Language Models
AI 导读
研究通过 CI-contrast 神经元（CICN）考察大型音频语言模型（LALM）判断认知障碍时的内部机制：在八个开源 LALM 和 Pitt、PROCESS-2 两个语料上，五个合格模型中有三个在消融少量 CICN 后出现大幅类别定向的预测偏移，且语音识别的掩码同样控制纯文本决策。
正文 · AI 翻译
摘要：大型音频语言模型（LALMs）能够从语音中评估认知障碍（CI），但其回答既未揭示哪些内部组件控制该决策，也未说明其表征中可获取多少 CI 信息。我们通过 CI 对比神经元（CICNs）研究这两个问题，这些神经元依据解码器 MLP 中的类别对比激活频率进行筛选。在八个开源 LALMs 和两个语料库（Pitt 和 PROCESS-2）上，我们将 CICNs 与规模及层匹配的随机掩码和活动匹配的对照进行因果检验。在符合我们入选标准的五个模型中，有三个模型在消融小型 CICN 集合后会导致大幅度的、类别导向的预测偏移；由语音识别出的掩码也能控制仅基于转录文本的决策，且四个主要 Pitt 掩码中有三个在 PROCESS-2 上保持特异性。位置受限干预将影响定位在最终答案位置之前，在字母标记选项下，该影响在语音或转录文本证据之后最为强烈，主要表现为决策方向偏移。除因果定位外，对冻结的 CICN 激活进行监督线性读出在 Pitt 内达到 0.92--0.97 AUC，而模型的直接回答为 0.67--0.84。匹配的随机读出和全神经元读出达到相当的性能；排名最高的 CICNs 仅在非常小的单元预算下显示出探索性优势。这些结果区分了 LALMs 中对输出决策的集中因果控制与用于 CI 检测的广泛分布诊断信息。
| 主题： | 音频与语音处理（eess.AS）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32061 [eess.AS] |
| （或 arXiv:2610.32061v1 [eess.AS] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32061 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiutian Zhao [查看邮箱]
[v1]
2026年10月23日星期五 01:56:25 UTC（262 KB）
来源：arXiv cs.CL · arxiv.org