arXiv cs.AI· Byeongju Woo, Zilin Wang, Byeonghyun Pak, Sangwoo Mo, Stella X. Yu·· 10 小时前AI 评分31
CAFT：面向图像与长描述视觉定位理解的森林与树木对齐模型
Aligning Forest and Trees in Images & Long Captions for Visually Grounded Understanding
AI 导读
CAFT（Cross-domain Alignment of Forest and Trees）是一种视觉语言模型，在中间层学习局部文本-区域对齐、在最终表示学习全局图文对齐，从而兼顾细粒度视觉证据与整体场景理解。
正文 · AI 翻译
摘要：CLIP 等视觉-语言模型往往难以忠实理解长而细节丰富的描述，依赖主导的场景线索而忽略细粒度的视觉证据。我们提出一种分层视觉-语言学习原则，将场景理解为部分到整体的组合：在形成整体场景表示之前，模型应揭示图像中哪些语义部分出现在何处。为此，我们提出 CAFT（森林与树木的跨域对齐），一种视觉-语言模型，在中间表示上联合学习局部文本-区域对齐，并在最终表示上学习全局图像-文本对齐。利用长描述的组织方式——其中局部描述通常对应场景部分——CAFT 采用由细到粗的图像编码器和部分-整体文本编码器，以发现局部化的部分语义，并逐步将其组合为全局图像-文本表示。CAFT 在 3000 万图像-文本对上训练，在六个长文本检索基准上取得最先进性能，并展现出强大的扩展行为。实验表明，CAFT 学习到细粒度表示，无需显式区域级监督即可在图像区域中定位文本语义。
| 评论： | 被 NeurIPS 2026 接收。项目页面：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2602.02977 [cs.CV] |
| （或 arXiv:2602.02977v3 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.02977 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Byeongju Woo [查看电子邮件]
[v1]
2026年2月3日星期二 01:31:55 UTC（5,423 KB）
[v2]
2026年5月13日星期三 06:25:34 UTC（5,375 KB）
[v3]
2026年11月10日星期二 06:37:03 UTC（5,389 KB）
来源：arXiv cs.AI · arxiv.org