arXiv cs.AI· Zhilong Zheng, Letian Tao, Yujie Yang, Wei Xiong, Kehua Sheng, Bo Zhang, Jingliang Duan, Keqiang Li, Yang Guan, Shengbo Eben Li·· 13 小时前AI 评分31
JANUS：用事后权重校正缓解微调中的稳定性-可塑性困境
Past, Future, All at Once: Mitigating Stability-Plasticity Dilemma via Post-hoc JANUS Rectification
AI 导读
研究者提出 JANUS，一个纯事后、与微调方法无关的权重校正框架，通过将参数更新投影到 Jacobian 零空间（JANUS）实现参数空间正交，从而在不干扰微调过程的前提下恢复历史知识。
正文 · AI 翻译
摘要：在新任务上微调基础模型不可避免地会遭受灾难性遗忘。现有工作虽然基于参数高效微调方法来缓解这一问题，但它们采用了过于严格的子空间正交条件。本文提出一个纯事后且与调优无关的权重校正框架，实现参数空间正交性，这是将历史性能保持到一阶的必要且充分条件。通过将参数更新投影到雅可比零空间（JAcobian NUll Space，JANUS），我们的方法在不干扰底层微调过程的情况下显著恢复了受损的历史知识。为克服雅可比近似的局部有效性，我们进一步提出多步自适应校正机制，利用 JANUS 偏移动态验证有效信赖域并调整步长。结合我们提出的幽灵投影、幽灵方向比较和序列级奇异值分解压缩技术，JANUS 还实现了出色的时间和空间效率。实验表明，JANUS 可与多种微调方法无缝集成，在保持下游任务适应的同时恢复历史知识，显著缓解稳定性-可塑性困境。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.19985 [cs.LG] |
| （或本版本的 arXiv:2609.19985v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2609.19985 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhilong Zheng [查看邮箱]
[v1]
2026年9月17日星期四 09:57:46 UTC（482 KB）
[v2]
2026年10月28日星期三 07:23:47 UTC（599 KB）
来源：arXiv cs.AI · arxiv.org