arXiv cs.CL· Stefan Larson, Kevin Leach·· 11 小时前AI 评分39
RVL-CDIP 数据质量系统审计：约 10.5% 文档标签错误
Data Quality in RVL-CDIP: A Systematic Audit
AI 导读
对文档分类基准 RVL-CDIP 的系统审计发现，其 40 万份文档中约 10.5% 标签错误，测试集 35.2% 存在重复或近重复样本。仅凭页面识别码即可达到 69% 分类准确率，SOTA 模型去掉识别码后下降 11 个点。修复全部缺陷后重新基准测试 25 个模型，重训的 13 个模型准确率提升 0.9 至 2.9 个点，其中 LayoutLMv3 达 96.5%。
正文 · AI 翻译
摘要：RVL-CDIP 是文档分类事实上的标准基准，目前在其上报告的准确率已达 98.8%。本文审计了 RVL-CDIP 的数据质量问题，发现其 400,000 份文档中约 10.5% 存在错误标签，测试集中 35.2% 的样本在训练集中有重复或近重复。页面上的识别码足以达到 69% 的分类准确率，而最先进的模型在没有这些识别码时会损失 11 个百分点。在 RVL-CDIP 上训练的纯图像模型在其他来源的文档上损失 16 至 28 个百分点，且 OCR 引擎的选择会使准确率变化 4.1 至 8.3 个百分点。我们发现近 16,000 份 RVL-CDIP 文档包含敏感个人数据，并生成了这些文档的去标识化版本。我们重新基准测试了 25 个模型，在修复所有缺陷后，我们重新训练的 13 个模型比原始条件下准确率高 0.9 至 2.9 个百分点；其中准确率最高的是 LayoutLMv3，达到 96.5%。我们发布了修正后的语料库、标注和分布外数据。
| 学科： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32126 [cs.CV] |
| （或 arXiv:2610.32126v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32126 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Stefan Larson [查看电子邮件]
[v1]
2026年10月23日星期五 03:52:03 UTC（12,996 KB）
来源：arXiv cs.CL · arxiv.org