arXiv cs.CL· Ghazal Khalighinejad, Raghuveer Thirukovalluru, Alexander H. Oh, Bhuwan Dhingra·· 3 天前AI 评分31
研究：文档即图像表示在科学检索中表现不佳，ArXivDoc 基准发布
Document-as-Image Representations Fall Short for Scientific Retrieval
AI 导读
一项研究提出 ArXivDoc 基准，基于科学论文的 LaTeX 源码构建，用于比较文本、图像与多模态表示在科学文档检索中的效果。结果显示，文档即图像表示持续表现次优，且随文档长度增加更明显；纯文本表示最有效，即使面对图表类查询也能借助图注和上下文取得优势；交错文本+图像表示无需专门训练即可超越文档即图像方法。
正文 · AI 翻译
摘要：近期许多文档嵌入模型是在文档即图像表示上训练的，即将渲染后的页面作为图像进行嵌入，而非基于底层源文件。与此同时，现有的科学文档检索基准（如 ArXivQA 和 ViDoRe）将文档视为页面图像，从而隐含地偏向此类表示。在本工作中，我们认为这一范式并不适合文本丰富的多模态科学文档，因为其中的关键证据分布在结构化来源中，包括文本、表格和图表。为研究这一设定，我们提出了 ArXivDoc，一个基于科学论文底层 LaTeX 源文件构建的新基准。与 PDF 或基于图像的表示不同，LaTeX 提供了对结构化元素（如章节、表格、图表、公式）的直接访问，从而能够基于特定证据类型进行受控的查询构建。我们系统地比较了纯文本、基于图像和多模态表示在单向量和多向量检索模型中的表现。我们的结果表明：(1) 文档即图像表示始终表现欠佳，尤其是随着文档长度增加；(2) 基于文本的表示最为有效，即使对于基于图表的查询也是如此，因为它利用了图注和周围上下文；(3) 交错的文本+图像表示优于文档即图像方法，且无需专门训练。
| 学科： | 信息检索 (cs.IR)；人工智能 (cs.AI)；计算与语言 (cs.CL) |
| 引用为： | arXiv:2604.18508 [cs.IR] |
| （或使用 arXiv:2604.18508v2 [cs.IR] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2604.18508 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ghazal Khalighinejad [查看邮箱]
[v1]
2026年4月20日星期一 17:00:17 UTC（328 KB）
[v2]
2026年10月13日星期二 20:40:04 UTC（330 KB）
来源：arXiv cs.CL · arxiv.org