arXiv cs.CL· Guangzhi Xiong, Qiao Jin, Sanchit Sinha, Zhiyong Lu, Aidong Zhang·· 10 小时前AI 评分31
重新审视大视觉语言模型胸片推理中的视觉归因
Rethinking Visual Attribution for Chest X-ray Reasoning in Large Vision Language Models
AI 导读
研究提出因果评估框架,仅保留经反事实编辑验证专家标注区域确实对模型预测起因果作用的 CXR-VQA 样本,据此测试 11 种归因方法、6 个开源 LVLM 和两种输出模式,发现现有归因方法常无法识别模型实际使用的视觉证据。为此提出基于概念的归因方法 MedFocus,通过非平衡最优传输定位有临床意义的解剖区域,并用定向干预测量其因果效应,性能大幅优于此前方法。数据与代码已公开。
正文 · AI 翻译
摘要:大型视觉语言模型(LVLMs)在医疗应用中展现出前景,但其无法将回答忠实地建立在视觉证据之上,这引发了对其临床可信度的严重担忧。虽然视觉归因方法被广泛用于解释 LVLM 的预测,但这些解释是否真正反映了模型决策所依据的视觉证据,在很大程度上尚未得到验证,因为模型内部推理的真实标注通常无法获得。我们针对胸部 X 光(CXR)推理这一问题,开发了一个因果评估框架,该框架仅保留那些经反事实编辑验证、其专家标注区域被确认为对模型预测具有因果责任的 CXR-VQA 样本。使用该框架,在 11 种归因方法、六个开源 LVLM 和两种输出模式(直接回答与逐步推理)上进行评估,我们发现现有归因方法往往无法识别 LVLM 所使用的证据。为解决这一缺陷,我们提出了 MedFocus,一种基于概念的归因方法,它通过非平衡最优传输定位具有临床意义的解剖区域,并通过定向干预测量这些区域对模型输出的因果效应。MedFocus 可生成空间级、概念级和 token 级归因,并大幅优于先前方法,朝着为医疗 LVLM 提供更可信归因迈出了一步。我们的数据和代码可在 此 https URL 获取。
| 评论: | NeurIPS 2026 |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2605.20158 [cs.CV] |
| (或 arXiv:2605.20158v2 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2605.20158 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Guangzhi Xiong [查看邮箱]
[v1]
2026年5月19日星期二 17:46:40 UTC(3,450 KB)
[v2]
2026年11月19日星期四 18:47:04 UTC(3,455 KB)
来源:arXiv cs.CL · arxiv.org