arXiv cs.AI· Ruochang Li, Pengcheng Huang, Zhenghao Liu, Yukun Yan, Huiyuan Xie, Yu Gu, Ge Yu, Maosong Sun·· 3 天前AI 评分22
SPARK：面向忠实检索增强生成的自适应参数化知识参与框架
SPARK: Adaptive Parametric Knowledge Participation for Faithful Retrieval-Augmented Generation
AI 导读
SPARK 将参数化知识控制建模为潜在参与策略学习问题，让 LLM 在生成时自适应调节参数化知识的贡献，同时保持主干模型完全冻结。该框架仅引入并优化 0.01% 的额外可训练参数，通过面向忠实性的奖励优化轻量参与策略，动态调节 FFN 介导的参数化知识。在六个数据集上的实验表明，SPARK 在保留主干 LLM 通用能力的同时，生成忠实度优于竞争基线，数据集与代码已公开。
正文 · AI 翻译
摘要：检索增强生成（RAG）通过将外部知识融入生成过程，提升了大语言模型（LLM）的忠实度。然而，检索到的上下文与参数化知识之间的冲突可能导致 LLM 依赖不一致的内部知识，从而阻碍其忠实利用检索到的证据。现有方法通过编辑参数化知识来解决此类冲突，从而缓解该问题。然而，定位并修改编码在模型参数中的知识颇具挑战，且可能无意中损害主干 LLM 的能力。在本文中，我们提出 SPARK，一种新颖的框架，将参数化知识控制形式化为潜在参与策略学习问题，使 LLM 能够在生成过程中自适应地调节参数化知识的贡献。具体而言，SPARK 引入一个轻量级参与策略，在保持主干 LLM 冻结的同时，动态调节由 FFN 介导的参数化知识的贡献。该参与策略以忠实度导向的奖励进行优化，从而在生成过程中实现对参数化知识参与的细粒度控制。在六个数据集上的大量实验验证了 SPARK 的有效性，它仅引入并优化了 0.01\% 的额外可训练参数，同时保持主干 LLM 完全冻结，从而保留其通用能力，并实现比竞争基线更忠实的生成。所有数据集和代码均可在 此 https URL 获取。
| 评论： | 28 页，9 幅图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.27786 [cs.CL] |
| （或 arXiv:2606.27786v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.27786 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ruochang Li [查看电子邮件]
[v1]
2026 年 6 月 26 日星期五 07:17:11 UTC（3,335 KB）
[v2]
2026 年 10 月 13 日星期二 09:40:48 UTC（2,195 KB）
来源：arXiv cs.AI · arxiv.org