arXiv cs.AI· Anisha Saha, Varsha Suresh, Teodora Kamova, Sophia Wiedmann, Timothy Hospedales, Vera Demberg·· 11 小时前AI 评分31
MuPHI 基准揭示视觉语言模型组合式有害性推理缺陷，CHIL 方法提升 OOD 泛化
Learning to Reason About Implicit Multimodal Harm: From Diagnosis to Generalization
AI 导读
研究者提出 MuPHI 诊断基准，专门考察图像与文本单独无害、组合后才产生有害性的跨模态推理，发现视觉语言模型能识别各模态证据，却无法将其绑定为有害机制。基于此提出的 CHIL 方法不再只优化预测标签，而是奖励证据识别、跨模态绑定与判定一致性，在 81% 的 OOD 迁移评测上平均提升 +2.5 macro-F1，反事实翻转率最高提升 +3.8 和 +5.4 个百分点。
正文 · AI 翻译
摘要：一张良性图像配上一段良性说明文字，只有在组合起来时才可能变得有害，这使得检测从根本上成为一个跨模态推理问题。现有多模态危害基准只评估分类准确率，因此无法明确模型是否能识别产生危害的跨模态机制。我们提出 MuPHI（Multimodal Pragmatic Harm Interpretation，多模态语用危害解释），这是一个受控的诊断性基准，其中危害完全源于图文组合，并配有良性反事实样本和标注的危害理由。利用 MuPHI，我们系统评估了视觉语言模型（VLM）中组合式危害推理在何处失效。MuPHI 揭示，VLM 能可靠地 grounding 每种模态，却无法将证据绑定到危害机制中，且其预测对决定标签的反事实干预响应微弱。此外，现有基于标签训练的伤害检测方法在域内（ID）检测上有显著提升，但跨危害分布迁移效果很差。因此，我们提出组合式危害解释学习（CHIL），它在推理链中奖励每种模态的证据识别、跨模态绑定和结论一致性，而不仅仅是预测标签。CHIL 在 81% 的 OOD 迁移评估中平均提升 +2.5 macro-F1，正确反事实翻转率最高提升 +3.8 和 +5.4 个百分点，同时在整体推理质量上也优于仅标签优化。这些结果表明，优化模型的推理方式而不仅仅是其结论，为能够泛化到数据集特定相关性之外的多模态安全系统提供了有前景的方向。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG）；多媒体（cs.MM） |
| 引用为： | arXiv:2605.29951 [cs.AI] |
| （或本版本的 arXiv:2605.29951v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2605.29951 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Anisha Saha [查看邮箱]
[v1]
2026年5月28日星期四 13:58:15 UTC（5,428 KB）
[v2]
2026年10月16日星期五 16:01:16 UTC（5,903 KB）
来源：arXiv cs.AI · arxiv.org