arXiv cs.CL· Ning Wang, Kuanyan Zhu, Daniel Yuehwoon Yee, Yitang Gao, Shiying Huang, Zirun Xu, Sainyam Galhotra·· 11 小时前AI 评分38
AutoPrunedRetriever:用持久化推理图实现高效可扩展的 RAG
AutoPrunedRetriever: Persistent Reasoning Graphs for Efficient and Extensible Retrieval-Augmented Generation
AI 导读
AutoPrunedRetriever(APR)是一个基于图的 RAG 系统,用共享符号码本同时充当检索索引和持久记忆,把事实、问题与答案编码为紧凑边序列,使已建立的推理结构可直接检索复用。
正文 · AI 翻译
摘要:检索增强生成(RAG)已成为知识密集型 LLM 任务的标准方法。复杂推理仍然具有挑战性,因为查询往往需要通过多个相互依赖的推理步骤来组合分散的证据。然而,现有的 RAG 系统独立处理查询,反复检索重叠的证据并重建已建立的推理。保留此类推理可使先前检索到的证据和中间结果可供后续查询复用。然而,随着历史记录增长,推理时复用的成本越来越高,这促使人们寻求一种紧凑表示,既能保留有用信息,又不会造成显著的质量损失。为应对这些挑战,我们提出 AutoPrunedRetriever(APR),一种基于图的 RAG 系统,它在共享符号码本中编码语料事实和查询衍生的推理。该码本既作为检索索引,也作为持久记忆,将事实、问题和答案表示为紧凑的边序列,从而可以直接检索和复用先前建立的结构。在推理时,APR 检索查询特定的推理路径并构建紧凑提示,同时增量整合使不断增长的记忆保持紧凑。对于无法替换检索器的部署场景,我们引入 AutoPruned Layer(APL),它保持宿主检索不变,但用共享符号码本中的相应条目替换检索到的上下文,并将每个问题和答案写回为紧凑结构。在五个复杂推理基准上,APR 相比最强基线将准确率提高了 1.8-10.8 个百分点,同时使用的输入 token 最多减少 96%。APL 在宿主系统中将生成器输入减少 60-96%,并在文档风格上下文中保持答案质量。
| 主题: | 数据库(cs.DB);计算与语言(cs.CL);机器学习(cs.LG) |
| 引用为: | arXiv:2602.04926 [cs.DB] |
| (或此版本的 arXiv:2602.04926v2 [cs.DB]) | |
| https://doi.org/10.48550/arXiv.2602.04926 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Ning Wang [查看电子邮件]
[v1]
2026 年 2 月 4 日星期三 08:48:11 UTC(202 KB)
[v2]
2026 年 10 月 15 日星期四 18:20:34 UTC(1,044 KB)
来源:arXiv cs.CL · arxiv.org