跳到正文
arXiv cs.AI· Rahim Hossain, Dipanwita Saha, Ashirbad Mishra, Xinxin Shu, Svetlana Strunjas, Binbin Li·· 4 小时前AI 评分29

LoCaR:用冻结视觉语言模型实现局部画布检索

LoCaR: Localized Canvas Retrieval With Frozen Vision-Language Model

AI 导读

LoCaR 是一个无需训练的局部文本到图像检索框架,借助 SAM2 构建独立候选区域,用冻结视觉编码器分别编码每个区域以获得更局部的表示。研究还提出可选的 paired-support 适配,利用匹配的文本区域样例作为残差,且不更新底层编码器。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:整图嵌入可能无法充分表示区分局部查询相关图像的小物体和局部属性。我们提出 LoCaR,一个无需训练的框架,使用冻结的视觉语言模型进行局部文本到图像检索。LoCaR 构建并利用独立提案(SAM2)聚焦于物体,从而获得更局部的表示,使用冻结的视觉编码器独立编码每个区域。我们进一步研究配对支持适配作为可选残差,使用匹配的文本区域示例而不更新底层编码器。我们还引入 LOCFG,一个源自 Visual Genome 的基准,旨在评估针对更小、更具挑战性指代对象的局部检索。在多个视觉语言骨干网络上,我们的结果表明改进区域表示本身是主要收益来源。
评论: 零样本检索,局部检索
主题: 人工智能(cs.AI);计算机视觉与模式识别(cs.CV);机器学习(cs.LG)
引用为: arXiv:2611.22131 [cs.AI]
  (或 arXiv:2611.22131v1 [cs.AI] 为此版本)
  https://doi.org/10.48550/arXiv.2611.22131

通过 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Rahim Hossain [查看电子邮件]
[v1] 2026年11月17日星期二 03:15:02 UTC(10,231 KB)

来源:arXiv cs.AI · arxiv.org