arXiv cs.AI· Eunchan Jo, Seounghyun Jang, Sangwoo Mo·· 2 天前AI 评分31
Loud and Clear（LoC）：让视觉证据在多模态文档 RAG 中真正被用上
Loud and Clear: Making Visual Evidence Count in Multimodal Document RAG
AI 导读
多模态文档 RAG 的瓶颈不在检索，而在生成器如何读取检索到的页面。研究发现，在 SciEGQA 上把页面视觉 token 预算从 1K 提到 32K 可提升 15.22 分，固定 16K 时加入 ground-truth 裁剪再提升 3.75 分。
正文 · AI 翻译
摘要：多模态文档检索增强生成（RAG）主要聚焦于检索，但其答案取决于视觉语言模型对检索到的页面的读取效果。我们发现，即使检索到了正确的页面，页面中的证据仍未被充分利用。在 SciEGQA oracle 页面上，在相同的图像处理器下，五种先前方法平均每次查询为生成器提供 0.7K 至 2.7K 个视觉 token，然而将仅页面预算从 1K 提高到 32K 可使准确率提升 15.22 个百分点。在固定的 16K 预算下，加入真实标注裁剪区域相比仅页面输入可使准确率提升 3.75 个百分点。我们通过两项要求研究生成器需要从检索页面中获得什么：Loud，即充分利用视觉 token 容量；Clear，即精炼页面使其证据变得突出。对于 Loud，在保持另一项不变的情况下，增加视觉 token 预算或视觉保真度（即这些 token 所保留的图像分辨率）均可提升准确率，且在相同预算下全页面缩放优于重复和分块。对于 Clear，抑制周围内容可在不扩大所选区域的情况下提升准确率，而将这些区域的 OCR 添加到页面图像中优于任一单独输入。我们将两者实现为 Loud and Clear（LoC），它结合了更高分辨率的页面与来自查询相关区域的 OCR，无需真实标注或额外训练。LoC 在 SciEGQA、ViDoRe-v3 和 MMLongBench-Doc 上优于八种先前方法，在相同的检索器和生成器下，相比最强的 ColQwen3 分别提升 8.88、3.09 和 4.22 个百分点。在相同的视觉 token 预算下，它也优于其仅页面变体。这些结果定位了一个超越检索的瓶颈：检索到的页面如何被提供给生成器。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21318 [cs.CV] |
| （或 arXiv:2610.21318v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21318 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Eunchan Jo [查看电子邮件]
[v1]
2026年10月15日星期四 06:08:04 UTC（979 KB）
来源：arXiv cs.AI · arxiv.org