arXiv cs.AI· Min-Seong Kim, Jongbok Won, Jeesup Park, Yonghee Choi, Dong-Jun Han·· 11 小时前AI 评分38
WSR-Tune：通过权重空间重参数化重思 LLM 微调，在下游适配中保持安全
Rethinking LLM Fine-Tuning via Weight Space Reparameterization: Preserving Safety during Downstream Adaptation
AI 导读
研究者提出 WSR-Tune，一种基于权重空间重参数化的 LLM 微调框架，通过构建安全条件基将安全相关信息集中到少数方向并冻结，从而在下游适配中同时保持安全性与任务性能。该方法在实验中获得更优的下游性能与安全保持权衡，论文已被 NeurIPS 2026 接收为 spotlight。
正文 · AI 翻译
摘要：在下游任务上微调大语言模型（LLM）往往会削弱其此前已对齐的安全行为，从而在任务适配与安全保持之间形成固有的权衡。现有方法试图通过在原始参数空间中识别与安全相关的神经元、层或更新方向来缓解这一问题。然而，安全相关信息在该空间中往往分散于许多方向，导致下游更新覆盖了编码安全行为的参数。我们提出 WSR-Tune，一个基于权重空间重参数化的微调框架，在下游适配过程中保持安全性。我们的方法构建一个以安全为条件的基，并对权重矩阵进行重参数化，使安全相关信息集中于少数方向。随后我们识别出安全关键方向，并在重参数化空间中将其冻结，同时更新其余互补方向以进行下游适配。通过显式地构造参数空间以解耦安全信息与任务信息，我们的方法减少了目标之间的干扰，能够同时保持安全性并提升下游性能。实验结果表明，我们的方法在下游性能与安全保持之间取得了更有利的权衡，证明了其用于可靠 LLM 微调的有效性。
| 评论： | 32 页，5 张图。已被 NeurIPS 2026（spotlight）接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.26443 [cs.LG] |
| （或 arXiv:2610.26443v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.26443 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Minseong Kim [查看邮箱]
[v1]
2026 年 10 月 19 日星期一 14:02:31 UTC（2,260 KB）
[v2]
2026 年 10 月 20 日星期二 05:28:24 UTC（2,260 KB）
来源：arXiv cs.AI · arxiv.org