arXiv cs.CL· Israfel Salazar, Stella Frank, Dan Oneata, Desmond Elliott, Constanza Fierro·· 12 小时前AI 评分31
视觉语言模型中的视觉信息流动路径研究
Pathways of Visual Information Flow in Vision-Language Models
AI 导读
研究通过因果修补发现，视觉语言模型（VLM）解决视觉任务时依赖两条不同路径：直接路径将视觉信息保留在图像 token 表示中由最终 token 读取，文本中介路径则先将视觉信息转移到查询 token 再读取。在三个视觉任务上，路径选择取决于任务类型，数据分布和提示词设计也能调节所用路径。注意力 knockout 和损坏输入修补实验表明这些路径具有灵活性，常规路径被消融时模型可回退到文本中介路径。
正文 · AI 翻译
摘要：我们研究视觉信息在视觉语言模型（VLM）中是如何路由的。通过在受控的合成数据集和自然数据集上进行因果修补，我们发现模型依赖两条不同的通路来解决视觉任务：一条是直接通路，视觉信息保留在图像 token 表示中，并在较后层由最终 token 读出；另一条是文本中介通路，视觉信息先被转移到查询 token，然后由最终 token 读出。在三个视觉任务中，我们表明通路选择取决于任务，并且数据分布和提示设计也可以调节使用哪条通路来解决基于图像的查询。此外，通过注意力剔除和损坏输入修补，我们发现这些通路是灵活的：在某些干预下，当通常的通路被消融时，模型可以依赖文本中介通路作为后备。这一行为统一了先前工作中的发现，并表明基于消融的干预可以揭示模型能做什么，而不是它们通常做什么。总之，我们的结果提供了 VLM 中视觉信息流的机制性刻画，并强调了其内部机制在干预下的灵活性。
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2607.03358 [cs.CV] |
| （或 arXiv:2607.03358v2 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2607.03358 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Israfel Salazar [查看电子邮件]
[v1]
2026年7月3日星期五 14:15:08 UTC（7,007 KB）
[v2]
2026年10月22日星期四 12:44:16 UTC（7,018 KB）
来源：arXiv cs.CL · arxiv.org