arXiv cs.CL· Jing Liu, Yongxing Qi, Muchen Jiang, Chengnan Hu, Qingqing Peng, Haoming Wang, Yuqing Wang, Yang Yu, Xu Zhang, Ting Wu·· 10 小时前AI 评分31
从关联到因果:用因果图与注意力机制提升 RAG 检索精度
From Association to Causation: Improving Retrieval Precision of Retrieval-Augmented Generation via Causal Relations and an Attention Mechanism
AI 导读
研究提出用因果图重构 RAG 的终端检索阶段,将查询与文档共享的关键词视为潜在共同原因 A、文档剩余关键词视为潜在集合 B,以区分关联性与因果性,减少关键词重合但不含所需信息的文档被召回。该方法在检索精度上达到 95% 可靠性,并配有完全本地化的测试环境验证可部署性。
正文 · AI 翻译
摘要:检索增强生成(RAG)将 LLM 的生成建立在检索到的文档之上,但标准的终端检索阶段——稠密向量相似度,可选地后接重排序——往往返回与查询共享关键词却不包含所需信息的文档,这种失败模式会随着知识库的增大而加剧。我们将其追溯到一个概念上的缺口:相似度只捕捉关联关系,而真正重要的文档与查询之间是因果关联的。我们用一个基于 Reichenbach 共同因原则的因果图来建模终端检索阶段:查询与检索到的文档所共享的关键词构成一个潜在共同因 A,文档的剩余关键词构成一个潜在集合 B,将文档与理想输出联系起来。由于检索到的文档是一个对撞点(A -> d <- B),检索本身就在查询与 B 之间打开了一条关联路径,这允许采用一种无需训练的、注意力式的重打分规则:查询嵌入与 B 的加权质心嵌入之间的余弦相似度。与在知识内容内部建模因果关系的因果增强 RAG 变体不同,我们的图建模的是检索过程本身的因果结构。在一个真实的 471 篇文档的企业知识库上,该方法将一条相关指南从第 6 名提升到前 3 名;在复现关键词堆砌机制的受控诊断语料上,它将平均目标排名从 2.88 提升到 1.25,而训练过的交叉编码器重排序器几乎无济于事(2.63)。相反,在三个 BEIR 基准上,该得分低于相似度基线,从而划定了适用边界:该方法守护不断增长的专有知识库的关键词堆砌机制,并与神经重排序器互补;一个语料库级校准门以 >= 95% 的可靠性选择正确的机制。一个完全本地的测试平台证明了其可部署性。
| 评论: | 16 页,2 幅图,4 张表,1 个算法。代码见 此 https URL |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL) |
| ACM 分类: | H.3.3;I.2.7 |
| 引用为: | arXiv:2608.21702 [cs.AI] |
| (或本版本的 arXiv:2608.21702v2 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2608.21702 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Jing Liu [查看邮箱]
[v1]
2026 年 8 月 22 日星期六 00:31:06 UTC(22 KB)
[v2]
2026 年 10 月 30 日星期五 02:58:02 UTC(22 KB)
来源:arXiv cs.CL · arxiv.org