arXiv cs.AI· Yuheng Chen, Yufan Chen, Zhuojun Cai, Ruiping Liu, Junwei Zheng, Jiale Wei, Di Wen, Weijia Fan, Kunyu Peng, Jiaming Zhang, Rainer Stiefelhagen·· 1 天前AI 评分34
Read-Parse-Describe：统一文档解析与视觉元素描述生成数据集
Read, Parse, Describe: Unified Document Parsing with Visual Element Description Generation
AI 导读
研究者提出 Read-Parse-Describe 数据集，要求模型对页面图像输出含边界框、语义标签、阅读顺序索引、文本内容及视觉元素替代文本描述的有序布局元素列表。
正文 · AI 翻译
作者：Yuheng Chen、Yufan Chen、Zhuojun Cai、Ruiping Liu、Junwei Zheng、Jiale Wei、Di Wen、Weijia Fan、Kunyu Peng、Jiaming Zhang、Rainer Stiefelhagen
摘要：文档理解系统通常通过版面分析、光学文本识别、阅读顺序预测和图像描述等任务被作为独立组件进行评估。这种分离使得科学图表、图注和视觉语义之间联系薄弱，也无法衡量模型能否生成既在结构上忠实又在语义上可访问的单一页面级解析结果。我们提出了 Read-Parse-Describe，这是一个用于文档解析并生成视觉元素描述的统 一数据集。给定页面图像，模型需要输出一个有序的版面元素列表，其中包含边界框、语义标签、阅读顺序索引、识别出的文本内容以及视觉元素的替代文本描述。该基准由 2,402 份文档构建而成，包含 18,163 个连续页面、125,218 个版面元素和 11,338 个视觉实例。此外，我们进一步提出了一种即插即用的空间感知增强器，它复用多层视觉特征，并将网格感知的空间引导注入视觉-语言 token 中，以实现版面感知生成。在端到端 VLM 和流水线解析器上的实验表明，现有系统仍难以同时恢复阅读顺序和视觉语义，而我们增强后的模型实现了强大的联合性能。这些结果凸显了有必要超越孤立的文档解析模块，转向能够联合读取、解析和描述复杂文档的统一模型。新数据集和代码将在 此 https URL 公开提供
| 注释： | 被 NeurIPS 2026 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.20335 [cs.CV] |
| （或 arXiv:2610.20335v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20335 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuheng Chen [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 15:17:28 UTC（3,478 KB）
[v2]
2026 年 11 月 12 日星期四 14:44:58 UTC（3,474 KB）
来源：arXiv cs.AI · arxiv.org