跳到正文
arXiv cs.CL· Minsang Kim, Junpyo Lim, Heeje Cho, Seungjun Baek·· 23 小时前AI 评分31

StitchRAG:用扩散模型拼接为 RAG 构建紧凑且保留证据的上下文

StitchRAG: Constructing Compact and Evidence-Preserving Contexts for RAG with Diffusion-Based Stitching

AI 导读

StitchRAG 通过动态压缩检索段落、提取答案候选与查询关键词作为锚点,再用文本扩散模型把保留锚点的句子拼接成连贯上下文,在五个开放域 QA 基准上持续优于多种多步与压缩基线。该方法按段落自适应调整压缩比例,以效用最大化权衡保留信息与计算成本,消融实验验证了动态尺寸分配、锚点保留和扩散拼接三项设计的有效性。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:检索增强生成(RAG)通过将大型语言模型(LLM)建立在外部证据之上来提高事实性。然而,检索到的长上下文会带来计算开销,甚至可能因噪声或无关内容而损害性能。我们提出 \textsc{StitchRAG},一个用于在 RAG 中构建紧凑上下文的框架。\textsc{StitchRAG} 在动态压缩检索段落的同时,构建忠实且信息密集的上下文。我们通过构建效用最大化来权衡保留的信息与计算成本,从而为每个段落调整尺寸缩减比例。然后,我们从段落中提取答案候选和查询相关关键词作为锚点,并在推导出的尺寸约束下收集包含锚点的段落句子。最后,我们使用文本扩散将收集到的句子连接或拼接在一起,形成连贯且自然的上下文。在五个开放域问答基准上的实验表明,\textsc{StitchRAG} 始终优于多种多步和压缩基线。大量消融实验显示了动态尺寸分配、锚点保留和基于扩散的拼接的有效性。
主题: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2611.22766 [cs.CL]
  (或 arXiv:2611.22766v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22766

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Minsang Kim [查看电子邮件]
[v1] 2026年11月17日星期二 13:33:26 UTC(4,750 KB)

来源:arXiv cs.CL · arxiv.org