arXiv cs.AI· Md Anwar Hossen, Fatema Siddika, Juan Pablo Munoz, Tanya Roosta, Ali Jannesari·· 2 天前AI 评分22
CRAFT：面向持续学习的遗忘感知干预适配框架
CRAFT: Forgetting-Aware Intervention-Based Adaptation for Continual Learning
AI 导读
研究者提出持续学习框架 CRAFT，冻结 LLM 权重，改为在隐藏表示上学习低秩干预。相似任务共享同一干预以促进知识迁移，任务相似度由各任务对模型输出分布的改变程度判定；共享干预内用 KL 惩罚约束新任务贴近既有行为以限制遗忘，最深层的小型任务私有干预则保留后续任务无法覆盖的专属容量。在多个基准和模型规模上，CRAFT 整体表现优于强 LoRA 方法并减少遗忘，且对任务顺序保持稳健。
正文 · AI 翻译
摘要：大型语言模型（LLM）可以通过微调学习新任务，但按顺序学习任务往往会导致对先前任务的灾难性遗忘。本文提出 CRAFT，一种持续学习框架，它保持模型权重冻结，转而在隐藏表示上学习低秩干预。相似任务共享一个干预以促进知识迁移，其相似性由每个任务如何改变模型输出分布来判断，而非通过学习的门控网络。在共享干预内，Kullback-Leibler（KL）惩罚使每个新任务接近该干预的现有行为，从而限制对先前任务的遗忘，而最深层中一个小的、任务私有的干预保留了后续任务无法覆盖的专用容量。所学的干预还使得在测试时能够识别任务，因此不需要任务身份标签。在多个基准和模型规模上，与强大的基于 LoRA 的方法相比，CRAFT 提升了整体性能并减少了遗忘，同时对任务顺序保持稳健。
| 评论： | 21 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.05732 [cs.LG] |
| （或 arXiv:2605.05732v3 [cs.LG] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2605.05732 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Md Anwar Hossen [查看邮箱]
[v1]
2026 年 5 月 7 日星期四 06:24:13 UTC（100 KB）
[v2]
2026 年 5 月 8 日星期五 04:10:34 UTC（98 KB）
[v3]
2026 年 10 月 14 日星期三 08:47:15 UTC（177 KB）
来源：arXiv cs.AI · arxiv.org