跳到正文
arXiv cs.AI· Sihao Ding, Santosh Vasa, Aditi Ramadwar, Thomas Monninger·· 4 小时前AI 评分40

研究揭示 VLM 忠实性缺口:EDCT 反事实测试与 EDCT-Bench 基准

Uncovering Faithfulness Gaps in VLMs via Explanation-Driven Counterfactual Testing

AI 导读

研究者提出 Explanation-Driven Counterfactual Testing(EDCT)协议,提取 VLM 解释中引用的视觉概念并施加经核验的最小编辑,检验答案与解释是否仍与编辑后图像一致。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:视觉语言模型(VLM)能够生成听起来合理但与所引用的视觉证据不一致的自然语言解释(NLE)。我们提出解释驱动的反事实测试(EDCT),这是一种基于干预的协议:它提取模型解释中引用的视觉概念,对其应用经过验证的最小编辑,并测试由此得到的答案和解释是否与编辑后的图像保持一致。利用该协议,我们构建了 EDCT-Bench,这是一个涵盖三个互补领域的综合基准:知识密集型视觉问答(OK-VQA)、安全关键型驾驶(DriveLM)和 3D 空间推理(3DSRBench)。在所评估的 VLM 中,EDCT 揭示了显著的忠实性差距,模型经常产生与经过验证的视觉变化不一致的响应。最后,我们的微调研究表明,EDCT 生成的反事实样本提供了高影响力的训练信号。
评论: 已被 WACV 2027 接收。16 页,含附录
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2609.17953 [cs.CV]
  (或使用 arXiv:2609.17953v2 [cs.CV] 查看此版本)
  https://doi.org/10.48550/arXiv.2609.17953

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Santosh Vasa [查看邮箱]
[v1] 2026 年 9 月 16 日星期三 00:25:31 UTC(4,157 KB)
[v2] 2026 年 11 月 17 日星期二 16:34:12 UTC(4,141 KB)

来源:arXiv cs.AI · arxiv.org