arXiv cs.AI· Jeonghwan Kim, Renjie Tao, Sanat Sharma, Jiaqi Wang, Kai Sun, Zhaojiang Lin, Seungwhan Moon, Lambert Mathias, Anuj Kumar, Heng Ji, Xin Luna Dong·· 3 天前AI 评分29
PixSearch：面向知识型大型多模态模型的区域锚定检索
PixSearch: Region-Grounded Retrieval for Knowledgeable Large Multimodal Models
AI 导读
PixSearch 是一种端到端的分割式大型多模态模型（LMM），将区域级视觉锚定与检索增强推理统一起来，在自回归生成中学习何时检索、如何在文本、整图和区域级检索间路由查询，并用联合训练的掩码解码器裁剪目标实体作为视觉查询。
正文 · AI 翻译
作者：Jeonghwan Kim、Renjie Tao、Sanat Sharma、Jiaqi Wang、Kai Sun、Zhaojiang Lin、Seungwhan Moon、Lambert Mathias、Anuj Kumar、Heng Ji、Xin Luna Dong
摘要：多模态检索增强生成（MM-RAG）通过外部知识增强视觉问答（VQA），但许多系统依赖模块化流水线，将视觉定位、查询构建和答案生成分离。这种分离会将中间检测、掩码或字幕中的错误传播到检索中，同时增加延迟并限制与持续推理的协调。这些局限在以自我为中心的图像中尤为关键，因为问题往往涉及全局检索可能忽略的小型、偏离中心或长尾实体。我们提出 PixSearch，一种端到端的分割大型多模态模型（LMM），将区域级视觉定位与检索增强推理统一起来。在自回归生成过程中，PixSearch 学习何时检索、如何在文本、整图和区域级检索之间路由查询，以及如何使用联合训练的掩码解码器裁剪目标实体作为视觉查询。一种带有搜索交错监督的两阶段监督微调方案，教会模型检索触发、查询选择和基于证据的答案生成，同时保持分割能力。在以自我为中心和以实体为中心的 VQA 基准上，PixSearch 在 CRAG-MM 上相比整图检索取得了 18.3% 的相对准确率提升，在以自我为中心的图像上提升尤为显著，同时在更广泛的 VQA 和纯文本 QA 任务上保持竞争力。与缓存的 GroundedSAM-LLaVA 流水线相比，它还将推理延迟降低了 36.4%。
| 评论： | NeurIPS 2026 VLM4RWD（口头报告） |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.19060 [cs.CV] |
| （或 arXiv:2601.19060v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.19060 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jeonghwan Kim [查看电子邮件]
[v1]
2026年1月27日星期二 00:46:08 UTC（40,539 KB）
[v2]
2026年10月13日星期二 04:03:22 UTC（40,560 KB）
来源：arXiv cs.AI · arxiv.org