arXiv cs.CL· Haruto Yoshida, Keito Kudo, Yoichi Aoki, Ryota Tanaka, Itsumi Saito, Keisuke Sakaguchi, Kentaro Inui·· 10 小时前AI 评分31
信号存在但预测失败：探究大型视觉语言模型中的图表表征
Signals Are Present, Predictions Fail: Probing Diagram Representations in Large Vision-Language Models
AI 导读
基于有向图合成数据集的线性探测实验显示，大型视觉语言模型（LVLM）的隐藏状态中，节点与边的信息可被线性解码，包括模型在 VQA 中难以处理的边方向和节点连通性。这表明模型内部信号与输出之间存在差距。对隐藏状态的因果干预实验进一步表明，部分经探测识别的信号对模型最终预测有因果贡献，且该结论在流程图数据上同样成立。
正文 · AI 翻译
摘要：大型视觉语言模型（LVLMs）在图表理解基准测试中表现出色，但它们仍然难以理解元素之间的关系，尤其是节点之间有向边所表示的关系。为了探究这一局限性的成因，我们使用基于有向图的合成图表数据集来探查 LVLMs 的内部表示。我们的线性探测实验表明，关于节点和边的信号可以从 LVLMs 的隐藏状态中线性解码出来，即使是 LVLMs 在 VQA 中难以处理的方面，如边的方向和节点之间的连通性也是如此。这些结果揭示了内部信号与模型输出之间的差距。我们进一步对模型的隐藏状态进行因果干预，表明对于某些方面，通过探测识别出的信号对模型的最终预测有因果贡献。这些发现不仅在合成图表上成立，在流程图上也同样成立。
| 评论： | 已被 EMNLP 2026 Main 接收；38 页，58 张图，18 张表 |
| 主题： | 计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2603.02865 [cs.CL] |
| （或 arXiv:2603.02865v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.02865 arXiv 颁发的 DOI 通过 DataCite |
|
| 期刊 参考： | Proceedings of the 2026 Conference on Empirical Methods in Natural Language Processing (2026), pp. 61160-61197 |
| 相关 DOI： | https://doi.org/10.18653/2026.emnlp-main.2689
链接到相关资源的 DOI |
提交历史
来自：Haruto Yoshida [查看电子邮件]
[v1]
2026 年 3 月 3 日星期二 11:17:31 UTC（5,600 KB）
[v2]
2026 年 11 月 6 日星期五 12:53:33 UTC（9,640 KB）
来源：arXiv cs.CL · arxiv.org