arXiv cs.CL· Dongsheng Ma, Jiayu Li, Zhengren Wang, Yijie Wang, Jiahao Kong, Weijun Zeng, Jutao Xiao, Jie Yang, Bangrui Xu, Yuhan Wang, Bin Wang, Conghui He·· 9 天前AI 评分29
CiteVQA：为可信文档智能打造的证据归因基准
CiteVQA: Benchmarking Evidence Attribution for Trustworthy Document Intelligence
AI 导读
多模态大模型文档理解评测 CiteVQA 发布，要求模型在给出答案的同时返回元素级 bounding-box 引用，并以 Strict Attributed Accuracy（SAA）联合评估二者。
正文 · AI 翻译
作者：Dongsheng Ma、Jiayu Li、Zhengren Wang、Yijie Wang、Jiahao Kong、Weijun Zeng、Jutao Xiao、Jie Yang、Bangrui Xu、Yuhan Wang、Bin Wang、Conghui He
摘要：多模态大语言模型（MLLMs）显著推进了文档理解，然而当前的 Doc-VQA 评测仅对最终答案打分，而将支撑证据置于未检查状态。这种仅看答案的方式掩盖了一种关键失效模式：模型可能得出正确答案，却将其建立在错误的段落之上——这在法律、金融和医学等高风险领域是重大风险，因为每个结论都必须可追溯到特定的来源区域。为解决这一问题，我们提出了 CiteVQA，一个要求模型在给出每个答案的同时返回 \textit{元素级} 边界框引用的基准，并对二者进行联合评估。CiteVQA 包含 711 份 PDF 中的 1,897 个问题，覆盖七个领域和两种语言，平均每份文档 40.6 页。为确保保真度和可扩展性，真实引用由自动化流水线生成——该流水线通过掩码消融识别关键证据，并执行多阶段质量控制。我们评估的核心是严格归因准确率（SAA），仅当答案和引用区域均正确时才将预测计为正确。对 20 个 MLLM 的审计揭示了一种普遍存在的归因幻觉：模型经常给出正确答案却引用错误区域。最强系统（Gemini-3.1-Pro-Preview）的 SAA 仅为 76.0，最强的开源 MLLM 仅达到 22.5。最终，面向可信文档智能，CiteVQA 揭示了仅看答案的评估所忽视的可靠性缺口，并提供了弥合该缺口所需的度量工具。我们的代码库见 此 https URL。
| 主题： | 计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2605.12882 [cs.CL] |
| （或 arXiv:2605.12882v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.12882 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Dongsheng Ma [查看邮箱]
[v1]
2026年5月13日星期三 01:54:42 UTC（4,251 KB）
[v2]
2026年10月8日星期四 06:54:20 UTC（4,042 KB）
来源：arXiv cs.CL · arxiv.org