arXiv cs.CL· Jingpu Yang, Tianhao Li, Fengxian Ji, Yufeng Wang, Shuxin Zheng, Xiaoqing Zhang·· 11 小时前AI 评分31
CAMR：面向大语言模型持续学习的兼容性感知记忆回放
CAMR: Compatibility-Aware Memory Replay for Continual Learning in Large Language Models
AI 导读
研究者提出兼容性感知记忆回放框架 CAMR，联合控制当前样本监督与历史回放，通过兼容性检查与学习式记忆门在三种动作间做在线决策。
正文 · AI 翻译
摘要：持续学习要求大语言模型在获取新知识和能力的同时保留已学内容。微调与回放支持获取与保留，但如何判断新来的样本是否需要监督、以及应回顾哪些历史样本仍是挑战。我们提出兼容性感知记忆回放（CAMR），一个联合控制当前样本监督与历史回放的框架。CAMR 将兼容性检查与学习到的记忆门控相结合，以引导一个在线策略在三种动作间选择：通过通用回放学习新来样本、联合强化兼容的相关样本、以及跳过对已验证掌握的重复样本的直接监督。该策略在有界的每次到达回放预算下，从获取、保留和训练成本反馈中学习。我们使用 Qwen3-8B-Base 在持续事实更新以及跨任务和跨领域学习上评估 CAMR。在 WikiBigEdit 上，CAMR 在 3K 到 100K 事实的 Original Match 上持续领先所评估方法，仅 3K 事实后即达到 93.66%，并在 100K 事实后超越 Full-history Replay（LoRA）。它还在四个选定的 TRACE 任务上均取得最高最终分数，并在涵盖金融问答、数学推理、代码生成和摘要的序列中，相对于获取后水平保持或提升了早期任务性能。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.36734 [cs.CL] |
| （或 arXiv:2610.36734v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36734 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tianhao Li [查看邮箱]
[v1]
2026年10月27日星期二 06:52:54 UTC（6,301 KB）
来源：arXiv cs.CL · arxiv.org