arXiv cs.CL· Saifullah Saifullah, David Dembinsky, Stefan Agne, Andreas Dengel, Sheraz Ahmed·· 13 小时前AI 评分31
DocXEval：多模态文档理解可解释性系统评测框架
DocXEval: A Systematic Evaluation of Explainability in Multimodal Document Understanding
AI 导读
研究者提出 DocXEval，首个面向多模态（文本、布局、图像）文档理解的可解释性框架，将现有 XAI 方法与评测指标适配到该场景。该框架系统评测了 13 种 XAI 方法，覆盖 3 项文档理解任务、8 个数据集、4 个模型和 17 项指标，发现仅少数方法在各标准下表现一致，Occlusion 整体上最忠实、最可解释。
正文 · AI 翻译
摘要：多模态 transformer 模型推动了现代文档理解领域前所未有的性能突破。然而，这些模型固有的黑箱特性仍是其在高风险领域安全部署的主要障碍。尽管视觉和语言任务的可解释性研究已取得显著进展，但针对多模态文档理解的可解释 AI（XAI）研究却鲜有关注。为填补这一空白，我们提出了 \ourframework{}，这是首个全面的可解释性框架，它将现有的 XAI 方法和评估指标适配到多模态（文本、布局和图像）文档理解场景，同时针对语义实体识别等领域特定任务，引入了方法和指标的高效多目标适配。借助 \ourframework{}，我们系统评估了 13 种 XAI 方法，覆盖 3 个文档理解任务、8 个数据集、4 个模型和 17 个评估指标，发现只有少数方法在所有评估标准上表现一致，其中 Occlusion 总体上是保真度和可解释性最高的方法。通过专门的元评估，我们观察到若干保真度和复杂度指标之间存在中等至强的一致性，同时识别出某些会产生不可靠结果的指标。最后，通过多项数据集范围的诊断分析，我们揭示了关于模型行为的关键洞见，包括各模态在不同任务和标签上的贡献、目标实体周围的空间归因模式以及潜在的数据集偏差。总体而言，这项工作既可作为基准，也可作为未来多模态文档理解 XAI 研究的实用指南。为支持可复现性，我们在 此 https URL 公开发布了代码。
| 主题： | 计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.36929 [cs.CL] |
| （或 arXiv:2610.36929v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.36929 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Saifullah Saifullah [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 09:53:21 UTC（30,463 KB）
来源：arXiv cs.CL · arxiv.org