arXiv cs.CL· Zhuchenyang Liu, Yao Zhang, Yu Xiao·· 9 小时前AI 评分34
无需坐标或区域标注:视觉文档理解中的证据归因新方法
Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels
AI 导读
研究提出用“文本引用+多模态检索”的语言接口替代坐标接口,在双语 CiteVQA 子集上测试六个开源视觉语言模型,证据召回率从最高 8 点提升至 26-47,归因幻觉率约减半,答案质量基本不变。基于同一引用-检索流程,作者用 GRPO 训练无需区域标注的模型,将 8B 骨干的严格归因准确率从 22.4 提升至 33.8。
正文 · AI 翻译
摘要:可靠的视觉文档理解要求模型将每个答案归因于支持该答案的证据区域。近期的基准测试和系统通过坐标接口来表达这一步骤:模型输出边界框坐标,以标记文档中的证据区域。在这种接口下,视觉语言模型即使答案正确,也常常无法识别出正确的区域,这种失败被称为归因幻觉。我们开展了一项研究,考察这种失败是否部分受限于模型通过坐标所能表达的内容。在一个经过验证的双语 CiteVQA 子集上,我们将坐标接口与一种语言接口进行比较:在语言接口中,模型仅输出文本,逐字引用其证据,并由多模态检索器将每条引文的位置作为布局解析器提出的页面区域返回(表格和图片通过其标题或注释进行引用);该比较在六个开放视觉语言模型上重复进行。与坐标接口相比,证据召回率从至多 8 个点提升到 26 至 47 个点之间,幻觉率大约减半,而答案质量几乎没有变化。在此比较的基础上,我们将相同的引用并检索流程用作训练支架:由于为长文档收集区域级证据标签成本高昂,我们引入了一种 GRPO 方案,其奖励是评判者对金标准答案和检索区域裁剪图的解读,在没有任何区域标签的情况下训练模型引用更好的证据,并将一个 8B 骨干模型的严格归因准确率从 22.4 提升到 33.8。这些发现表明了一条无需坐标接口、也无需昂贵的区域级监督即可改进归因的实用路径。
| 评论: | 已被 EACL 2027(主会议)接收。代码:此 https URL |
| 主题: | 计算机视觉与模式识别(cs.CV);计算与语言(cs.CL);信息检索(cs.IR) |
| 引用为: | arXiv:2607.24651 [cs.CV] |
| (或 arXiv:2607.24651v2 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2607.24651 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自:Zhuchenyang Liu [查看电子邮件]
[v1]
2026年7月27日星期一 16:49:36 UTC(3,789 KB)
[v2]
2026年11月17日星期二 16:42:58 UTC(4,192 KB)
来源:arXiv cs.CL · arxiv.org