arXiv cs.CL· Joshua Muhumuza, Cornelius Kalenzi·· 2 天前AI 评分41
ViT 中的虚假注意力头：医学胸部 X 光分析中标注驱动偏见的机制识别
Spurious Attention Heads in Vision Transformers: Mechanistic Identification of Annotation-Driven Bias in Medical Chest X-Ray Analysis
AI 导读
研究用机制可解释性在 ViT-Base 16 中定位到一个专门读取胸部 X 光片角落标注文字的注意力头 L8H10，在 200 张 COVID-19 图像中有 62% 关注标注而非肺部病变。
正文 · AI 翻译
摘要：部署在医学影像中的 Vision Transformer 利用了虚假相关性，但其内部机制仍未被识别，也无法修复。我们应用机制可解释性方法，在 ViT-Base 16 中定位到这样一种机制：单个注意力头（L8H10）在胸部 X 光片上充当专门的标注读取器，在 200 张 COVID-19 图像中有 62% 关注角落文字而非肺部病变。通过图像修复进行的因果验证证实，驱动该行为的是标注内容而非亮度或边缘密度，在受影响的图像中移除标注后，肺部注意力提升了 1.52 倍（$p{<}0.0001$）。该发现在 NIH ChestX-ray14（79%）、DeiT-Base（88%）和 ViT-Large 16（80%）上均得到复现，表明虚假标注关注头是 ViT 系列架构在两个数据集和三种架构上的一致特性。完全微调并不能抑制该行为，反而可能使其根深蒂固：98.4% 的虚假图像仍为虚假，且虚假率略有上升，因为该捷径被强化而非被移除。关键的是，单头消融得到 $p{=}0.340$，对全部三个已识别载体的多头消融得到 $p{=}0.532$，这意味着一个经因果验证的标注读取回路在输出层面的评估中完全不可见。机制审计能发现行为测试无法发现的问题。
| 评论： | 8 页，8 幅图 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21638 [cs.CV] |
| （或使用 arXiv:2610.21638v1 [cs.CV] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.21638 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Joshua Muhumuza 先生 [查看邮箱]
[v1]
2026 年 10 月 15 日星期四 10:21:14 UTC（926 KB）
来源：arXiv cs.CL · arxiv.org