arXiv cs.CL· Juan Terven, Diana-Margarita C\'ordova-Esparza, Julio-Alejandro Romero-Gonz\'alez, Edgar Chavez-Urbiola, Juan Irving Vasquez, Julian Andres Ramirez-Bautista, Silvia L. Chaparro-C\'ardenas, Gendry Alfonso-Francia·· 12 小时前AI 评分32
扫描还是索引?长文档 RAG 中的证据覆盖率、答案质量与成本对比
Scan or Index? large Evidence Coverage, Answer Quality, and Cost in Long-Document RAG
AI 导读
研究对比 11 种检索配置在长文档 RAG 中的表现,在书籍测试中 Hybrid + Jev 的证据覆盖率达 94.1%,高于 Jev 全文扫描的 88.7% 和 OpenAI 稠密检索的 81.3%。
正文 · AI 翻译
摘要:扫描长文档中的每一段看似彻底,但它是否能保留更多有用的证据或产生更好的答案?我们比较了 11 种检索配置,涵盖词汇检索和稠密检索、混合重排序,以及使用 Jev、OpenAI Decisions 和 Cloudflare Clef 的全文档扫描。我们的评估使用 396 个 QASPER 问题和来自八本完整教科书的 80 个问题,采用公共段落、五段限制和固定的答案生成器。在书籍上,Hybrid + Jev 实现了观察到的最高证据覆盖率(94.1%),而 Jev 全扫描为 88.7%,OpenAI 稠密检索为 81.3\%。全扫描最初会检查每一段,但后续的缩减步骤可能会丢弃相关证据。更高的证据覆盖率也并不总能产生更好的答案:在检索方法中,Hybrid + Decisions 实现了观察到的最高书籍答案准确率(0.892),尽管其恢复的参考证据较少。在测试部署下,全扫描在书籍上会产生显著更高的延迟,而随着查询的累积,可复用的稠密检索的预计 API 成本低于付费的基于决策的方法。大多数 QASPER 文章已经适合混合候选池,限制了扫描的收益。这些结果突出了证据保留、答案质量和复用成本作为选择长文档检索策略的互补标准。
| 评论: | 15 页,4 幅图,13 张表 |
| 主题: | 计算与语言(cs.CL) |
| ACM 分类: | H.3.3;I.2.7 |
| 引用为: | arXiv:2610.28957 [cs.CL] |
| (或 arXiv:2610.28957v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.28957 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Juan Terven [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 22:11:07 UTC(69 KB)
来源:arXiv cs.CL · arxiv.org