跳到正文
arXiv cs.CL· Mingchen Li, Jiatan Huang, Chuxu Zhang, Liang Zhao, Hong Yu·· 9 小时前AI 评分34

将 RAG 视为上下文优化:从梯度下降视角实现冻结 LLM 的轻量适配

In-Context Optimization for Retrieval-Augmented Generation: A Gradient-Descent Perspective

AI 导读

研究将检索增强生成(RAG)视为上下文优化过程,证明单层线性自注意力可对统一线性化 RAG 目标执行一步梯度下降,使检索增强预测与上下文优化在精确条件下重合。基于此提出一种面向冻结 RAG LLM 的轻量方法:保持检索器与主干固定,仅预测生成器侧证据使用接口的上下文条件更新。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:上下文学习近来被关联到线性自注意力模型中的隐式梯度下降,这表明上下文可以诱导前向传播更新。检索增强生成(RAG)同样依赖上下文,但检索到的文档通常被视为静态证据,而非用于适应的信号。我们将 RAG 作为一个上下文优化过程来研究。首先,我们证明一个线性自注意力层可以在一个统一的线性化 RAG 目标上实现一步梯度下降,该目标涵盖基于投影和基于点积的两种检索接口。这给出了一个精确的区间,其中检索增强预测与上下文优化相重合。我们并不将此结果作为 LLM 计算的字面模型,而是作为调整查询与检索证据之间交互的指导。随后我们检验这种对应关系的边界:它在受控的线性扩展下保持稳定,但在非线性架构下会变得依赖于特征分布。最后,我们将这一视角转化为一种用于冻结 RAG LLM 的轻量级方法。该方法保持检索器和主干网络固定,并预测对生成器侧证据使用接口的上下文条件更新。在七个 QA 基准、两个检索器和两个冻结 LLM 主干网络上,这种仅前向的更新改进了共享接口基线,可迁移到留出任务,并以低得多的每查询成本接近测试时梯度适应。
评论: NIPS 2026
主题: 计算与语言(cs.CL)
引用为: arXiv:2605.26356 [cs.CL]
  (或 arXiv:2605.26356v2 [cs.CL] 为此版本)
  https://doi.org/10.48550/arXiv.2605.26356

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Mingchen Li [查看邮箱]
[v1] 2026年5月25日 星期一 22:04:54 UTC(273 KB)
[v2] 2026年11月17日 星期二 18:19:55 UTC(302 KB)

来源:arXiv cs.CL · arxiv.org