arXiv cs.AI· Lingxiang Wang, Hainan Zhang, Liang Pang, Hongwei Zheng, Zhiming Zheng·· 9 天前AI 评分22
SVC：通过奇异向量通道选择平衡 LLM 持续学习中的稳定性与可塑性
Stability-Plasticity Balance via Singular-Vector Selection in LLM Continual Learning
AI 导读
研究者提出参数高效持续学习方法 SVC，以奇异向量通道为单元，用领域数据估计各通道的适应收益、以固定公开通用语料作为历史激活代理估计遗忘成本，再经 knee-based 成本筛选、Pareto 前沿过滤和 Otsu 阈值自适应选择可训练通道。在四个 LLM 系列、八项下游任务上，SVC 相比现有 PEFT 基线更好地保留预训练能力，同时取得较强的下游表现。
正文 · AI 翻译
摘要：大语言模型的领域特定持续适应存在灾难性遗忘的风险，在获取新能力与保留预训练期间所学能力之间形成了根本性矛盾。PEFT 通过限制可训练参数的数量来缓解这一问题，但现有方法缺乏一个有原则的单元来决定可塑性应分配到何处、稳定性应在何处保持。我们将奇异向量通道确定为管理这一权衡的自然单元。每个通道代表一种输入-输出变换，可以更新以获取新知识，也可以固定以保留预训练能力。基于这一视角，我们提出了 SVC，一种参数高效的持续学习方法，可选择性地更新奇异向量通道。在微调之前，SVC 使用领域特定数据估计每个通道的适应收益，并仅将固定的公共通用领域语料库用作历史激活代理，以估计遗忘成本。然后，它通过基于拐点的成本筛选、帕累托前沿过滤和 Otsu 阈值化，根据这些分数自适应地选择可训练通道。在四个 LLM 系列和八个下游任务上的实验结果表明，相对于现有 PEFT 基线，SVC 在实现强大下游性能的同时，更好地保留了预训练能力。对通道评分和选择的进一步分析表明，在奇异向量通道层面的选择性可塑性能够实现有效的 LLM 持续适应。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11076 [cs.LG] |
| （或 arXiv:2610.11076v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11076 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Lingxiang Wang [查看电子邮件]
[v1]
2026年10月8日星期四 01:35:48 UTC（345 KB）
来源：arXiv cs.AI · arxiv.org