arXiv cs.CL· Dongkyu Cho, Rumi Chunara, Ali Behrouz·· 6 天前AI 评分24
语言模型的自保能力：用生成式回放选择保留目标
Self-Preservation in Language Models
AI 导读
研究将任务描述与示例组织为 Task Banks，用 Qwen 系列不同规模模型做持续指令微调，发现新任务与学习率决定哪些旧能力退化，跟踪此前答对的样本能揭示平均准确率掩盖的损失。生成式回放可减少 bank 外任务的遗忘，组合部分 bank 能提升此前正确答案的平均保留率；在 4B 模型上，由新任务引导的目标选择优于随机选择，但更小模型无此优势。
正文 · AI 翻译
摘要：持续学习（CL）旨在适应预训练模型，同时保留其先前的能力。然而，为保留而提供的任务仅覆盖了模型所知内容的一部分，而遗忘可能超出这些任务的范围。近期研究表明，语言模型可以在无法访问其原始训练数据的情况下，通过生成有用的回放数据来补充这一有限的证据。这引出了一个关于自我保留的问题：模型能否帮助选择保留目标，从而更广泛地保护自身能力？为研究这一问题，我们将任务描述及其示例组织成任务库（Task Banks），其条目可被选择并组合，以指导冻结模型生成回放数据。使用不同规模的 Qwen 模型进行持续指令微调，得出三项发现。第一，新任务和学习率决定了哪些先前能力会退化，而追踪先前正确的答案能揭示平均准确率所掩盖的损失。第二，生成的回放数据减少了对任务库之外任务的遗忘。组合部分任务库增强了这种保护，在所测试的各个规模上，相比单独使用任一任务库，均提高了先前正确答案的平均保留率。第三，模型还能帮助选择回放目标：在 4B 规模上，由新任务提供信息的选取相比随机选取提高了平均留出保留率，且新任务增益相似，尽管较小模型未表现出相应优势。然而，在固定示例预算下，用回放数据替换新任务示例虽能改善保留，却以较小的新任务增益为代价。总之，这些发现表明，模型可以通过生成回放数据，并在某些设置下选择回放哪些任务，来支持更广泛的自我保留。
| 评论： | 25 页，12 张图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.12602 [cs.CL] |
| （或 arXiv:2610.12602v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12602 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dongkyu Cho [查看邮箱]
[v1]
2026 年 10 月 8 日星期四 18:24:02 UTC（356 KB）
来源：arXiv cs.CL · arxiv.org