ResMem：将检索知识蒸馏为参数化记忆，存储需求降低 94.7%

查看 PDF HTML（实验性）

摘要：检索增强生成（RAG）帮助大型语言模型（LLM）回答超出其训练数据的事实性问题，但会增加存储和推理成本。将先前检索到的信息蒸馏为参数化记忆，可在无需在线检索的情况下实现复用。然而，训练记忆以模仿检索器会奖励准确的独立预测，而这些预测与 LLM 已有的预测结合时，未必能提升最终输出质量。为此，我们提出 ResMem，其中 LLM 离线阅读检索文本以生成教师目标。与 MLP Memory 等依赖 k 近邻（kNN）数据存储的现有参数化记忆方法不同，该设计避免了存储海量 token 表示。此外，通过将 LLM 作为离线教师，在读取输入的同时读取特权检索证据，我们训练参数化记忆以学习加性 logit 残差。该残差使共享同一骨干的学生模型预测与教师分布对齐，而自蒸馏更新仍仅限于参数化记忆。在 Wikipedia 子集上，与所评估的 kNN 流程相比，ResMem 将教师构建所保留的存储减少 94.7%。在五个问答数据集上，ResMem 将平均 token F1 从冻结 LLM 的 32.83% 提升至 34.48%。与 kNN 训练的记忆相比，它破坏 LLM 正确答案的比例也减少了 21%。这些发现验证了我们的动机：将检索视为一种学习资源，参数化记忆由检索知识如何用于指导模型未来预测所塑造。代码和模型权重可在 此 https URL 和 此 https URL 获取。

提交历史

来自：Changjiang Han [查看邮箱]
[v1] 2026 年 10 月 30 日星期五 23:05:50 UTC（299 KB）