arXiv cs.AI· Seulgi Kim, Zhixiong Zhang, Xinwei Zhang, Jie Ling, Ronn Shaw·· 10 天前AI 评分27
GeoPID：分解与引导视觉语言模型中的视觉信息
GeoPID: Decomposing and Steering Visual Information in Vision-Language Models
AI 导读
GeoPID 是一个免训练框架，从几何视角将视觉语言模型中的多模态信息分解为冗余、模态独有和协同三类成分。研究覆盖 22 个 VLM 和 14 个基准，发现正确答案在强视觉依赖问题上具有更强的视觉独有成分。基于此，GeoPID 在推理时选择性放大视觉独有子空间，无需更新模型参数即提升视觉定位能力，平均相对准确率提升 7.63%。
正文 · AI 翻译
摘要：尽管近期的视觉语言模型（VLM）在各类应用中表现出色，但它们往往对视觉信息利用不足，而过度依赖文本上下文。在这项工作中，我们提出了 \textsc{GeoPID}，一个无需训练的框架，从几何视角分析 VLM 中的多模态信息。\textsc{GeoPID} 通过视觉与文本表示子空间之间的几何关系，将信息分解为冗余、模态独有和协同成分。通过对 22 个 VLM 和 14 个基准的广泛分析，我们确认当问题强烈需要视觉 grounding 时，正确预测会表现出更强的视觉独有成分。基于这一几何分析，我们引入了一种有针对性的干预技术，在推理过程中沿视觉独有子空间选择性地放大视觉表示。结果，视觉 grounding 能力得到增强，且无需任何额外的模型参数更新，平均相对准确率提升 7.63\%。
| 评论： | 审稿中 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.08401 [cs.CV] |
| （或 arXiv:2610.08401v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08401 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Seulgi Kim [查看邮箱]
[v1]
2026年10月6日星期二 14:14:25 UTC（17,459 KB）
来源：arXiv cs.AI · arxiv.org