跳到正文
arXiv cs.CL· Nabaraj Subedi, Ahmed Abdelaty, Shivanand Venkanna Sheshappanavar·· 3 天前AI 评分39

更多文档反而伤害 RAG:用领域范围检索测量并缓解向量搜索稀释

When More Documents Hurt RAG: Measuring and Reducing Vector Search Dilution with Domain-Scoped Retrieval

AI 导读

研究发现 RAG 在大型异构文档集上会出现"向量搜索稀释":语料从 54 篇增至 1,128 篇时,precision@10 下降 63%,答案所在文档的召回率下降 23%。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:检索增强生成(RAG)在应用于大型、异构文档集合时性能会下降。在 RAG 系统中,稠密相似度的区分能力变弱,导致 top-$k$ 检索返回语义相似但上下文不正确的片段。我们将这种失效模式称为向量搜索稀释。即使在混合稠密+稀疏检索下,我们首先在一个已部署的怀俄明州交通部(WYDOT)系统中观察到这一现象;在一项受控实验中,将语料库从 54 篇文档扩展到 1,128 篇,使 precision@10 下降了 63%,包含答案的文档的召回率下降了 23%。在其他六个交通部中也观察到了类似模式。为诊断这一问题,我们引入了 MASDR-RAG(面向 RAG 的元数据限定域检索),作为在 200 条人工验证查询、五个 LLM 主干、六个公开基准语料库和两种索引栈上的受控测试平台。在 MASDR-RAG 中,域限定是承重组件。我们发现硬分区不安全,而当范围结构真实存在时,免训练的软限定是安全的。此外,我们可以在没有手工整理元数据的情况下发现这些范围。然而,多智能体编排会触发一个精确率-忠实度悖论,该悖论在格式控制、提示控制和盲法人工评估下依然存在。基于这些不同的结果,我们的实用建议很简单:先进行软限定,然后执行一次单一的合成调用。
评论: 19 页,5 幅图,20 张表。预印本,正在 ACL ARR October 审稿中
主题: 计算与语言(cs.CL);信息检索(cs.IR)
引用为: arXiv:2606.11350 [cs.CL]
  (或使用 arXiv:2606.11350v2 [cs.CL] 获取此版本)
  https://doi.org/10.48550/arXiv.2606.11350

arXiv 颁发的 DOI,通过 DataCite

提交历史

来自:Nabaraj Subedi [查看邮箱]
[v1] 2026 年 6 月 9 日星期二 18:26:24 UTC(844 KB)
[v2] 2026 年 10 月 14 日星期三 00:58:36 UTC(787 KB)

来源:arXiv cs.CL · arxiv.org