ResMem 将检索知识蒸馏为参数化记忆

Changjiang Han 等作者提出 ResMem 方法，让大语言模型离线阅读检索文本并生成教师目标，再训练参数化记忆学习加性 logit 残差，从而把检索知识转化为可复用的参数化记忆。作者称该方法使存储需求降低 94.7%。 该方法的思路是：检索到的知识不再每次推理时重新检索，而是先由模型离线消化、蒸馏进参数中。目前披露的信息来自论文本身，降低存储需求是作者报告的结果，尚待独立验证。

AI 根据报道生成 · 47 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。