研究揭示视觉语言模型视觉信息的两条路由通路

Israfel Salazar 等作者发表研究，通过因果修补发现视觉语言模型解决视觉任务时依赖两条不同路径：直接路径将视觉信息保留在图像 token 表示中、由最终 token 读取；文本中介路径则先把视觉信息转移到查询 token 再读取。 在三个视觉任务上，模型走哪条路径取决于任务类型，数据分布和提示词设计也能调节所用路径。注意力 knockout 和损坏输入修补实验显示这些路径具有灵活性：常规路径被消融时，模型可回退到文本中介路径。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。