arXiv cs.CL· Zeyu Shan, Yongxin Shi, Shihang Wu, Peirong Zhang, Yuanyuan Fang, Zhaopeng Wang, Lianwen Jin·· 11 小时前AI 评分31
LongHisDoc：中文长历史文档理解综合基准发布
LongHisDoc: A Comprehensive Benchmark for Chinese Long Historical Document Understanding
AI 导读
LongHisDoc 是首个面向长历史文档理解的基准，包含 101 份 PDF 文档衍生的 1,012 条专家标注 QA 对，平均每份文档 85.1 页、42,776.4 tokens，覆盖 10 个类别和单页、跨页、多跳、不可回答四种题型。
正文 · AI 翻译
摘要：中国历史文献是珍贵的文化瑰宝，但其复杂性给非专业人士带来了巨大的理解挑战。尽管大型语言模型（LLM）和大型视觉语言模型（LVLM）在现代文档任务中取得了成功，但它们在长（整本书）历史文献理解方面的能力仍基本未被探索。为填补这一空白，我们推出了 LongHisDoc，这是首个专为长历史文献理解量身定制的基准。LongHisDoc 包含 1,012 个由专家标注的问答对，源自 101 份 PDF 文档，平均每份文档 85.1 页、42,776.4 个 token。它涵盖 10 个类别，并具有四种问答类型：单页、跨页、多跳和无法回答。回答这些问题需要整合来自文本、版面和视觉元素的多模态证据。我们的评估显示，表现最佳的 LVLM 和 LLM 分别仅达到 62.9% 和 69.9% 的准确率，凸显了显著的性能差距。此外，我们评估了各种模态检索器和端到端 RAG 性能，为检索增强生成（RAG）系统提供参考。我们相信 LongHisDoc 可作为一项全面的基准，推动整本书历史文献理解的未来研究。基准和评估代码可在 此 https URL 和 此 https URL 获取。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.14531 [cs.CL] |
| （或 arXiv:2610.14531v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14531 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zeyu Shan [查看电子邮件]
[v1]
2026年10月10日星期六 03:44:08 UTC（25,062 KB）
[v2]
2026年10月20日星期二 09:06:09 UTC（25,063 KB）
来源：arXiv cs.CL · arxiv.org