arXiv cs.CL· Shubh Garg, Chen Shani·· 6 天前AI 评分32
研究揭示 VLM 空间关系表征弱于词汇先验：EICS 与 CASP-VL 基准
When VLMs Destroy What They Know: Spatial Representations Fall Below Lexical Priors
AI 导读
研究提出 EICS 指标与基于 Visual Genome 场景图构建的 CASP-VL 基准，测试 VLM 在受控单概念干预下表征是否稳定编码概念。结果显示，多种 VLM 架构对空间关系的表征忠实度显著低于词汇信息，即便在组合类基准上得分远高于随机水平。关系在谓词自身 token 处可识别，但经 EOS token 或均值池化聚合为全局表征后即丢失，形成输出评测无法察觉的系统性失败。
正文 · AI 翻译
摘要：视觉语言模型（VLM）越来越多地分析和推理图像，但其内部表征是否忠实地编码了此类推理所需的结构化关系，目前仍不清楚。我们提出了 EICS（评估不变概念稳定性），一种用于测试表征在受控的单概念干预下是否能一致地编码概念的指标，以及 CASP-VL（面向视觉语言模型的因果控制空间扰动），一个源自 Visual Genome 场景图的因果控制空间扰动基准。在多种 VLM 架构中，我们发现空间关系的表征忠实度显著低于词汇信息，即使这些模型在组合基准上的得分远高于随机水平。进一步分析表明，关系在谓词自身的 token 处是可识别的，但当句子被聚合为全局表征时——无论是通过 (EOS) token 还是平均池化——这种关系就丢失了。这些发现揭示了一种基于输出的评估无法察觉的系统性失败：VLM 在其下游使用的表征中，并未保留其自身输入中存在的关系信息。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13910 [cs.CL] |
| （或 arXiv:2610.13910v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13910 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Chen Shani [查看电子邮件]
[v1]
2026年10月9日星期五 17:50:03 UTC（83 KB）
来源：arXiv cs.CL · arxiv.org