arXiv cs.CL· Zhivar Sourati, Marianne Menglin Liu, Rongguang Wang, Zheng Wang, Yazhe Hu, Lan Guo, Yuying Wang, Mengqing Guo, Bhavesh Dnyaneshwar Gore, Shubham Pathak, Ramapriya Ranganath, Sandeep Sharma, Tao Sheng, Sujith Ravi, Dan Roth·· 2 天前AI 评分26
VELD-QA：面向长文档视觉证据定位与问答的大规模数据集
VELD-QA: A Large-Scale Dataset for Visual Evidence Grounding and Question Answering in Long Documents
AI 导读
研究者发布 VELD-QA，一个面向长文档视觉证据定位与问答的大规模基准，包含 15,000 个人工编写问答对，覆盖 5,859 份真实 PDF、共 372,445 页，均衡涵盖图表、表格与复杂版式任务。
正文 · AI 翻译
作者：Zhivar Sourati、Marianne Menglin Liu、Rongguang Wang、Zheng Wang、Yazhe Hu、Lan Guo、Yuying Wang、Mengqing Guo、Bhavesh Dnyaneshwar Gore、Shubham Pathak、Ramapriya Ranganath、Sandeep Sharma、Tao Sheng、Sujith Ravi、Dan Roth
摘要：现有的长文档问答基准很少将大规模人工编写的问题与详细的视觉证据标注相结合，这限制了对证据定位与解读失败的诊断。我们提出 VELD-QA，一个面向长文档中视觉证据定位与问答的大规模基准。它包含 15,000 个完全由人工编写的问答对，覆盖 5,859 份真实世界 PDF，共计 372,445 页，在图表、表格和复杂版式任务之间保持平衡。人工标注识别支撑页面和证据元素，并描述所引用的视觉内容，从而支持对检索和解读分别进行评估。我们在四种证据设置下评估了九个视觉语言模型，以及七个检索增强和智能体系统。我们的分析识别出证据定位与解读中的瓶颈。基于检索的方法在性能上显著低于使用真实支撑页面的 oracle 设置；全文访问也无法弥合这一差距。仅靠定位是不够的：oracle 准确率最高为 81.7%，凸显出持续存在的视觉解读与推理挑战。用我们的视觉元素标注丰富输入可将性能差距缩小 17-24%，表明其价值超越评估本身，并推动面向多模态文档问答的数据丰富化。我们的代码可在 此 https URL 获取。
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20964 [cs.CV] |
| （或 arXiv:2610.20964v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20964 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhivar Sourati [查看邮箱]
[v1]
2026年10月14日星期三 21:36:28 UTC（590 KB）
来源：arXiv cs.CL · arxiv.org