跳到正文
arXiv·· 11 天前AI 评分24

GeoPID:从几何视角分解与引导视觉语言模型中的视觉信息

GeoPID: Decomposing and Steering Visual Information in Vision-Language Models

AI 导读

GeoPID 是一个免训练框架,从几何视角分析视觉语言模型(VLM)中的多模态信息,通过视觉与文本表示子空间之间的几何关系,将信息分解为冗余、模态独有和协同三类成分。研究覆盖 22 个 VLM 和 14 个 benchmark,发现这些模型普遍未充分利用视觉信息、过度依赖文本上下文。

来源:arXiv · arxiv.org