arXiv cs.AI· Amirmohammad Izadi, Hosein Hasani, Fatemeh Askari, Mobin Bagherian, Sadegh Mohammadian, Mohammad Izadi, Mahdieh Soleymani Baghshah·· 2 天前AI 评分23
揭示 Grounding IDs：外部线索如何塑造多模态绑定
Uncovering Grounding IDs: How External Cues Shape Multi-Modal Binding
AI 导读
研究发现，符号、网格线等外部视觉线索能帮助大型视觉语言模型（LVLM）在物体与其文本描述之间建立更准确的连接。作者提出 Grounding IDs 概念，即外部线索结构化视觉与文本模态后在模型内部产生的潜在标识符，它能增强相关组件间的注意力，改善跨模态对齐并减少模型幻觉。
正文 · AI 翻译
摘要：大型视觉语言模型（LVLM）在多模态任务上表现良好，但其推理能力以及精确对齐视觉与文本信息的能力仍有提升空间。在本研究中，我们表明外部视觉线索（如符号或网格线）能帮助 LVLM 在视觉组件（如物体）与其对应的文本描述之间建立更准确的联系，从而提升其定位与推理能力。我们引入了 Grounding IDs 的概念，即由于外部线索对视觉和文本两种模态进行结构化而在模型内部产生的潜在标识符。我们的分析表明，诱导划分的外部线索会产生 Grounding IDs，使对应的视觉与文本表示之间实现更好的对齐，帮助模型聚焦于相关信息。我们发现 Grounding IDs 增强了相关组件之间的注意力，改善了跨模态定位并减少了幻觉。总体而言，我们的结果表明，Grounding IDs 是一种关键机制，使外部线索能够改善跨模态对齐、减少错误，并提升 LVLM 在一系列多模态任务上的整体性能。
| Comments: | 已被 ICML 2026 接收 |
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用格式： | arXiv:2509.24072 [cs.CV] |
| （或使用 arXiv:2509.24072v5 [cs.CV] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2509.24072 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Hosein Hasani [查看电子邮件]
[v1]
2025年9月28日星期日 21:15:07 UTC（1,997 KB）
[v2]
2025年10月3日星期五 22:57:00 UTC（1,998 KB）
[v3]
2025年12月5日星期五 17:19:01 UTC（2,124 KB）
[v4]
2026年2月25日星期三 01:59:45 UTC（2,115 KB）
[v5]
2026年10月14日星期三 20:57:03 UTC（2,124 KB）
来源：arXiv cs.AI · arxiv.org