arXiv cs.AI· Jo\"el Roman Ky, Salah Ghamizi, Maxime Cordy·· 2 天前AI 评分31
测量跨模态协同：VLM 可解释性基准 Synergistic Faithfulness 发布
Measuring Cross-Modal Synergy: A Benchmark for VLM Explainability
AI 导读
研究提出 Synergistic Faithfulness（F_syn）指标，基于 Shapley Interaction Index 隔离模态间的联合 Harsanyi dividend，作为跨模态忠实度的替代指标（ρ = 0.93），计算速度最高提升 88 倍。
正文 · AI 翻译
摘要：视觉语言模型（VLM）将复杂的视觉输入映射到语义空间，但目前解读 VLM 的跨模态推理依赖于事后解释器，并通过单模态扰动指标进行评估。我们揭示了这一范式的一个局限：由于多模态数据集包含语言先验和模态偏差，VLM 经常表现出跨模态冗余，使其能够仅凭文本回答视觉查询。因此，单模态指标会惩罚忠实的解释器，引发评估崩塌，使视觉与文本排名从根本上相互矛盾。为解决这一问题，我们引入了协同忠实度（$\mathcal{F}_{syn}$），这是一种基于 Shapley 交互指数的可扩展指标，严格分离模态间的联合 Harsanyi 红利，作为高度准确的替代指标（$\rho = 0.93$），同时实现高达 $88\times$ 的计算加速。在 3 种 VLM 架构和 3 个基准数据集上评估 9 种不同的 XAI 方法，结果表明，为 VLM 提出的解释器过度偏重视觉显著性，在捕捉真实跨模态协同方面显著逊于适配的基于注意力的方法。通过将视觉合理性从跨模态忠实度中解耦，这项工作提供了一个严格的评估框架，用于在高风险部署中安全审计 VLM 推理。代码：此 https URL
| 评论： | 已被 NeurIPS E&D 2026 接收 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.22168 [cs.AI] |
| （或 arXiv:2605.22168v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.22168 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Joël Ky [查看电子邮件]
[v1]
2026 年 5 月 21 日星期四 08:39:46 UTC（18,269 KB）
[v2]
2026 年 10 月 26 日星期一 14:29:51 UTC（28,632 KB）
来源：arXiv cs.AI · arxiv.org