arXiv cs.AI· Arnav Chavan, Kusha Sareen, Rishabh Tiwari, Abhranil Chandra, Johan Obando-Ceron, Kurt Keutzer, Scott Niekum, Inderjit S Dhillon, Devvrit Khatri·· 2 天前AI 评分34
面向持续学习：用子空间微调（SST）缓解 LLM 灾难性遗忘
Towards Continual Learning: Mitigating Forgetting With Subspace Tuning
AI 导读
研究者提出子空间微调（SST），将每次权重更新限制在底部奇异子空间，消除主方向上的变化，从而缓解 LLM 持续学习中的灾难性遗忘。SST 与优化器无关，可兼容 SFT 和自蒸馏，保护多达 99% 的权重子空间仍能保持目标任务的强劲表现，且该效果随模型与数据规模增大而增强，在大模型场景下几乎消除遗忘。相比基线方法，SST 的 KL 漂移减少 2–4 倍，推进了学习—遗忘的帕累托前沿。
正文 · AI 翻译
摘要：大型语言模型（LLM）通过微调获得新技能，但这可能会破坏它们已有的能力：灾难性遗忘仍然是 LLM 持续学习的核心障碍。近期研究将遗忘与微调使权重移动的距离以及方向联系起来。诸如强化学习和同策略蒸馏之类的同策略方法避免更新权重矩阵的主奇异方向，因此遗忘更少。相比之下，SFT 将更新集中在这些方向上，因而容易发生灾难性遗忘。在这项工作中，我们提出了子空间微调（SST），它将每次权重更新限制在底部奇异子空间中，从而消除沿主方向的变化。SST 与优化器无关，并且可以很好地与包括 SFT 和自蒸馏在内的微调方案组合使用。SST 结合了紧密的子空间保护、密集的梯度估计和简单的刷新机制，从而实现比先前正交微调方法更强的学习能力。借助这些机制，保护多达 99\% 的权重子空间可显著提高保留能力，同时保持强大的目标任务性能。这种行为会随着模型和数据规模的增大而增强，并在大模型场景中几乎消除遗忘。SST 还使模型保持接近其基础分布，引起的 KL 漂移比基线方案少 $2$--$4\times$。总体而言，SST 推进了学习—遗忘帕累托前沿，使其成为微调预训练语言模型的实用默认选择。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.22293 [cs.LG] |
| （或使用 arXiv:2610.22293v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.22293 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Arnav Chavan [查看电子邮件]
[v1]
2026年10月15日星期四 17:44:43 UTC（527 KB）
来源：arXiv cs.AI · arxiv.org