arXiv cs.AI· Qinan Zhang, Xinyu Wang, Qihang Jin, Tianyuan Wang, Hongbing Luo, Pengfei Li, Wenjun Lv, Yu Kang, Jian Di·· 10 小时前AI 评分31
面向可靠 VLM 评判模型：状态条件不变性与呈现感知诊断
Towards Reliable VLM Judges: State-Conditional Invariance and Presentation-Aware Diagnostics
AI 导读
研究提出 State-Conditional Invariance（SCI）可靠性原则，要求视觉语言模型作为评判者时，在语义不变的呈现变化下保持稳定，同时对改变任务结果的因果干预作出响应。
正文 · AI 翻译
摘要：视觉语言模型（VLM）越来越多地被用作多模态和具身任务的自动评判器，但仅凭总体准确率或一致性并不能揭示评判器是否出于正确的原因改变其判定。我们提出状态条件不变性（SCI），这是一项可靠性原则，要求评判器在保持语义不变的呈现变化下保持稳定，同时对改变任务结果的因果干预作出响应。我们在 GridWM-Judge 中实例化 SCI，这是一个基于模拟器的诊断基准，由确定性的 MiniGrid 轨迹构建，配有对齐的完整、证据移除和反事实变体，以及呈现和表示探针。通过五项诊断任务，GridWM-Judge 测试局部感知、动作条件转移、呈现稳定性、表示可交换性和 Full-CF 因果区分能力。我们的诊断评估揭示了异质的失败模式，包括对证据呈现和编码的敏感性、在成功轨迹上的低激活，以及配对反事实区分能力薄弱。感知控制分析进一步表明，视觉 grounding 和目标恢复是显著的、依赖于模型的瓶颈。这些结果促使我们联合报告正确性、呈现稳定性和因果敏感性，而不是依赖单一分数。
| 评论： | 被 NeurIPS 2026 接收（评估与数据集方向）。47 页，16 幅图。项目页面：此 https URL ；代码：此 https URL ；数据：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG） |
| ACM 分类： | I.2.10; I.2.6 |
| 引用为： | arXiv:2611.13596 [cs.AI] |
| （或 arXiv:2611.13596v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13596 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Qihang Jin [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 05:15:50 UTC（4,675 KB）
来源：arXiv cs.AI · arxiv.org