arXiv cs.AI· Minjun Kim, Hyunmin Song, Changwon Lim·· 3 天前AI 评分26
视觉依赖不等于可回答性：冻结 InstructBLIP 中可回答性信号的系统分析
Visual Dependence Does Not Imply Answerability: A Systematic Analysis of Answerability Signals in Frozen InstructBLIP
AI 导读
研究在 UNK-VQA 的 10K 分层子集上系统评估冻结 InstructBLIP 的可回答性信号，涵盖预测不确定性、跨模态对齐、视觉定位、视觉依赖、内部表示与学习探针，测试 AUROC 大多仅 0.50-0.54。
正文 · AI 翻译
摘要：视觉问答模型即使可用的视觉证据不足以支持有效答案，也常常给出看似合理的回答。尽管此前的工作已为无法回答的视觉问题引入了基准测试和弃答机制，但哪些来自冻结视觉语言模型的信号能可靠地指示未见图像-问题对的可回答性，仍不清楚。我们使用冻结的 InstructBLIP，在 UNK-VQA 的分层 10K 子集上系统评估了可回答性信号，涵盖预测不确定性、跨模态对齐、视觉定位、视觉依赖性、内部表示和学习探针。可回答性判别仍然很弱，测试 AUROC 基本局限于 0.50-0.54。CLIP 对齐给出了最高的点估计，但在配对自助法分析下并未显著优于生成置信度。有针对性地移除与问题相关的视觉证据，会使答案置信度的变化远大于同等规模的随机掩码，然而干预敏感性对可回答性几乎不提供任何判别能力。提高探针容量、组合多个信号以及加入推理感知监督，均未带来稳健的改进，而冻结后交叉验证也产生同样弱的判别能力。选择性回答分析表明，在低风险操作标准下可用覆盖率有限。失败模式分析表明，各个信号的相对效用随扰动机制而变化。综合来看，这些结果表明，在我们的 UNK-VQA 子集上使用冻结的 InstructBLIP 时，视觉依赖性、不确定性、语义对齐和静态表示都不是可回答性的稳健独立代理。我们的发现强调，有必要区分模型对视觉证据的依赖与该证据是否足以支持答案。
| Comments: | 10 页，3 幅图，5 张表 |
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| Cite as: | arXiv:2610.17902 [cs.CV] |
| （或 arXiv:2610.17902v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17902 arXiv 颁发的 DOI 经由 DataCite（待注册） |
Submission history
来自：Minjun Kim [查看邮箱]
[v1]
2026 年 10 月 13 日星期二 07:56:00 UTC（1,340 KB）
来源：arXiv cs.AI · arxiv.org