arXiv cs.AI· Gexin Huang, Haisheng Fu, Yanting Yang, Chen Zhao, Ruinan Jin, Jiaqi Liu, Xiaoxiao Li·· 14 小时前AI 评分31
VLMProbe：开源 VLM 探测与解释库
VLMProbe: An Open-source Library for VLM Probing and Interpretation
AI 导读
vlmprobe 是一个开源库，在统一模型接口内整合 lens 读取、注意力归因、因果干预和稀疏自编码器（SAE）分析，并提供共享适配器、校准与 checkpoint 工具、评估流程和可视化。
正文 · AI 翻译
摘要：理解视觉语言模型如何使用视觉信息，需要将内部表示与模型行为联系起来。我们提出 vlmprobe，这是一个开源库，在统一的模型接口中集成了透镜读出、注意力归因、因果干预和稀疏自编码器（SAE）分析。共享适配器、校准与检查点工具、评估流程和可视化支持跨架构的系统性分析。使用该框架，我们通过匹配的案例研究和对预训练稀疏字典的受控评估，在视觉语言模型、语言模型和视觉模型之间比较了各种方法。比较结果表明，表示读出和空间解释取决于分析目标和观测位置，并且局部归因估计可能与实测的干预效果不一致。SAE 评估进一步揭示了在重建保真度、概念读出和空间定位方面的不同权衡。总之，这些结果支持结合多种形式的证据来评估一种解释。vlmprobe 为选择方法、比较其结论以及检验关于模型行为的假设提供了可复用的基础。代码可在 此 http URL 获取
| 评论： | 43 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.33072 [cs.CV] |
| （或 arXiv:2610.33072v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33072 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Gexin Huang [查看电子邮件]
[v1]
2026年10月21日星期三 02:36:26 UTC（17,838 KB）
来源：arXiv cs.AI · arxiv.org