arXiv cs.AI· Chunzheng Zhu, Jiaqi Zeng, Hongbo Zhao, Yihang Chen, Yijun Wang, Jianxin Lin·· 13 小时前AI 评分34
CRAFT：医疗视觉语言模型的因果责任与失败追踪
CRAFT: Causal Responsibility and Failure Tracing in Medical Vision Language Models
AI 导读
CRAFT 将医疗视觉语言模型的两类安全失败模式定位到空间上互不重叠的注意力头群体：仲裁失败（文本覆盖视觉依据）由中深层宽带仲裁头介导，刹车失败（证据不足仍强行作答）由中后层窄带刹车头调控。
正文 · AI 翻译
摘要：随着视觉语言模型越来越多地部署于临床诊断，理解它们如何在内部处理相互竞争的视觉与文本信号已成为一项安全要务。现有的机制分析仍局限于单模态文本，无法解释为何一句误导性语句就能覆盖正确的基于图像的诊断，也无法解释模型为何在视觉证据不足时仍给出自信答案。我们发现，这两类安全风险——文本上下文覆盖视觉依据的仲裁失败，以及模型在证据不足时仍作出判断的刹车失败——由空间上彼此分离的注意力头群体所介导：仲裁头构成中至深层的宽带，反映跨层证据竞争；刹车头则集中于中后层的一个狭窄层带，调控证据充分性与弃答行为。为将这些观察落到因果回路上，我们提出 CRAFT，通过双重标准将每种失败模式定位到最小因果头集合，并借助时间探针与 Tuned Lens 轨迹分析验证其必要性与充分性。切除仲裁头可显著减少对冲突的跟随，且在干净输入上性能下降可忽略；切除刹车头则可在视觉证据退化时恢复适当的弃答。两种干预针对空间上分离的头集合，产生不同的纠正效果，凸显了失败模式在机制上的可分离性。在多个医学 VQA 基准和 VLM 架构上的实验验证了定位与干预的有效性，表明所识别的头因果性地驱动了每种失败模式，且定向调控无需重新训练即可泛化。代码见 此 https URL。
| 评论： | NeurIPS 2026 Spotlight，医学 VLM 失败分析 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.38810 [cs.CV] |
| （或本版本使用 arXiv:2609.38810v3 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2609.38810 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Jiaqi Zeng [查看邮箱]
[v1]
2026年9月30日星期三 02:41:33 UTC（4,678 KB）
[v2]
2026年10月2日星期五 15:11:54 UTC（4,678 KB）
[v3]
2026年10月29日星期四 10:40:34 UTC（4,680 KB）
来源：arXiv cs.AI · arxiv.org