arXiv cs.CL· Niclas Lietzow, Danielle Bitterman, Carsten Eickhoff, William Rudman, Michal Golovanevsky·· 11 小时前AI 评分32
视觉优先、先验覆盖：视觉语言模型中感知-知识冲突的因果机制
Vision-Default, Prior-Override: Causal Mechanisms of Perception-Knowledge Conflict in Vision-Language Models
AI 导读
研究通过激活修补、组件消融与机制分析发现，视觉语言模型默认以视觉证据为依据，而依赖先验知识的回答由网络中少量因果必要的注意力头（2.5-4.8%，集中于网络后半部分）驱动。
正文 · AI 翻译
摘要：视觉语言模型在视觉证据与记忆中的世界知识发生冲突时，必须对二者进行协调。它们如何解决这一冲突，决定了多模态系统的可靠性，然而已有工作仅从行为层面刻画这一现象，缺乏组件级的因果解释。我们将三种粒度（残差流、注意力头和 MLP 子层）的激活修补与模型组件消融研究及机制分析相结合。在三个 VLM 系列中，我们发现视觉 grounding 默认出现，而先验 grounding 依赖于一小部分因果必要的注意力头（2.5-4.8%），这些头集中在网络的后半部分。这些头使得模型能够依据存储的世界知识给出答案（例如对草莓回答“红色”），即使视觉输入与之冲突。在先验知识提示下，消融这些头会使 68-96% 的案例从基于知识的预测翻转为基于视觉的答案，但仅改变 0.8-7.5% 的基于视觉的预测，从而确立了一种非对称因果结构。所识别出的头可分解为路由头（调节信息流）和写入头（直接将答案 token 投影到残差流中）。这一结构在模型系列和规模上保持一致，揭示了 VLM 中感知-知识冲突背后稀疏的因果回路。
| Comments: | EMNLP 2026 Findings。17 页，11 幅图，13 张表 |
| Subjects: | 计算与语言（cs.CL） |
| Cite as: | arXiv:2606.28273 [cs.CL] |
| （或 arXiv:2606.28273v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.28273 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Niclas Lietzow [查看邮箱]
[v1]
2026 年 6 月 26 日星期五 17:16:04 UTC（687 KB）
[v2]
2026 年 11 月 5 日星期四 17:21:24 UTC（712 KB）
来源：arXiv cs.CL · arxiv.org