arXiv cs.CL· Anglin Cai, Zhiqi Wang, Xiaozhi Yang, Yurun Lin, Dongwon Lee, Yuchen Yang·· 11 小时前AI 评分52
看似合理的解释足以误导多模态模型裁判
A Plausible Explanation Is Enough to Mislead Multimodal Judges
AI 导读
研究提出 JUPE 基准，在视觉问答任务中固定答案、只改变解释，发现 14 个多模态大模型裁判会被听起来合理的普通解释误导，效果平均上与刻意说服性论证相当。普通理由和思维链理由分别使错误答案的被拒率下降 12.7 和 13.8 个百分点，作者称之为合理性俘获。信号检测分析显示判定标准显著向接受一侧偏移，而辨别力无明显变化，现有缓解措施保护有限。
正文 · AI 翻译
摘要：多模态大语言模型（MLLM）越来越多地在训练和评估流程中充当评判者，常常连同解释一起评估答案。尽管 AI 评判者对文本因素较为敏感，但普通且看似合理的解释能否影响需要视觉验证的判断，目前仍不清楚。我们提出 JUPE，一个固定答案、变化解释的视觉问答（VQA）风格基准。
在 14 个 MLLM 评判者中，听起来合理的普通解释会误导评判者，其平均影响与刻意说服性论证相当。平实的理由说明和思维链推理分别使对错误答案的拒绝率降低 12.7 和 13.8 个百分点。我们将这一失败称为合理性俘获（plausibility capture）。借助信号检测理论，我们发现决策标准出现显著的平均偏移，趋向于接受，而平均可辨别性没有明显变化。解释会跨领域、跨解释生成器和跨评判协议影响判断，而所测试的缓解措施仅提供有限且依赖模型的保护。当评判者在评估带解释的答案时，此类偏移可能夸大性能估计。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.22631 [cs.CL] |
| （或 arXiv:2610.22631v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22631 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Anglin Cai [查看邮箱]
[v1]
2026年10月15日星期四 20:38:53 UTC（1,277 KB）
来源：arXiv cs.CL · arxiv.org