arXiv cs.AI· Jugal Gajjar, Kamalasankari Subramaniakuppusamy·· 4 小时前AI 评分31
模型真的用到了它引用的内容吗?小规模视频语言模型接地推理链的反事实测试
Does the Model Use What It Cites? Counterfactual Tests of Grounded Reasoning Chains in Small Video-Language Models
AI 导读
研究提出“引用差距”(cite gap)指标,通过遮挡模型推理链中自己引用的区域、对比同帧同尺寸其他区域被遮挡时正确答案翻转比例,无需人工标注即可检验答案是否依赖引用内容。
正文 · AI 翻译
摘要:一条有依据的推理链会为每一步引用一个帧区间和一个框,因此读者可以核查模型查看了哪里。答案是否依赖于所引用的区域则是另一个问题。我们通过干预来检验:将模型在自身推理链中引用的区域涂黑,并把正确答案发生翻转的比例,与将同一帧上其他位置同样大小的框涂黑的结果进行比较。这一配对差值,即引用差距,无需任何标注。我们将其应用于在精确 CLEVRER 链和伪标注 NExT-QA 链上训练的 2-3B 视频语言模型。在相同权重下,CLEVRER 上的引用差距为 0.089,NExT-QA 上为 0.003。对模型进行汇总后,在 CLEVRER 上,遮蔽所引用的框使正确答案翻转的数量是对照组的 2.2 倍,在 NExT-QA 上为 1.1 倍,在那些确实依赖视频的答案中也是如此,同时这些框在两个数据集上都通过了依据性检查。在每一帧上遮蔽所引用的实体而非所引用的框,使答案翻转的数量是对照组的 1.9 倍。NExT-QA 链被监督为引用两个在大多数帧上保持可见的实体的帧,因此这一结果正是该监督所预测的;关键在于,对有依据推理链的常规检查无法发现这一点。一个引用可以是可验证且相关的,而答案并不依赖于它,因此对有依据推理的检验应当移除推理链所指名的内容,而不仅仅是它指向的位置。
| 评论: | 24 页,4 幅图,27 张表。代码:此 https URL |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.21940 [cs.CV] |
| (或 arXiv:2611.21940v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.21940 arXiv 颁发的 DOI 经由 DataCite(待注册) |
提交历史
来自:Jugal Gajjar [查看电子邮件]
[v1]
2026 年 11 月 16 日星期一 22:03:19 UTC(952 KB)
来源:arXiv cs.AI · arxiv.org