arXiv cs.CL· Zichun Guo, Yuling Shi, Wenhao Zeng, Chao Hu, Haotian Lin, Terry Yue Zhuo, Jiawei Chen, Xiaodong Gu, Wenping Ma·· 12 小时前AI 评分31
ShredBench：评估多模态 LLM 在文档重建中的语义推理能力
ShredBench: Evaluating the Semantic Reasoning Capabilities of Multimodal LLMs in Document Reconstruction
AI 导读
研究者提出 ShredBench 基准，用自动化流水线从 Markdown 直接生成碎片化文档，评估多模态 LLM 的文档重建能力。该基准覆盖英文、中文、代码、表格四种场景，设 8、12、16 三种碎片粒度，可灵活接入最新文本源以避免训练数据污染。对 SOTA 多模态 LLM 的评测显示，文档完整时方法有效，但碎片化后重建难度骤增，NED 随碎片数量增加而急剧下降。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）在视觉丰富文档理解（VRDU）任务中取得了显著性能，但其能力主要是在原始、结构良好的文档图像上进行评估的。我们考虑从碎纸片段中进行内容恢复，这是一个具有挑战性的 VRDU 设定，要求在显著的内容不连续条件下将视觉模式识别与语义推理相结合。为便于对复杂 VRDU 任务进行系统评估，我们提出了 ShredBench，这是一个由自动化生成流水线支持的基准，该流水线可直接从 Markdown 渲染出碎片化文档。所提出的流水线通过允许灵活集成最新或未见过的文本来源以防止训练数据污染，从而确保评估有效性。ShredBench 评估四种场景（英文、中文、代码、表格）和三种碎片粒度（8、12、16 片）。对最先进 MLLMs 的实证评估揭示出显著的性能差距：该方法在完整文档上有效；然而，一旦文档被粉碎，恢复就成为一个重大挑战，随着碎片化程度增加，NED 急剧下降。我们的发现强调，当前 MLLMs 缺乏弥合视觉不连续性所需的细粒度跨模态推理能力，指出了稳健 VRDU 研究中的一个关键空白。
| 评论： | ACL 2026 Findings。代码可在 此 https URL 获取 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2604.23813 [cs.CV] |
| （或 arXiv:2604.23813v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.23813 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuling Shi [查看电子邮件]
[v1]
2026年4月26日星期日 17:26:06 UTC（801 KB）
[v2]
2026年10月27日星期二 17:24:02 UTC（805 KB）
来源：arXiv cs.CL · arxiv.org