arXiv cs.AI· Zhangming Li, Qinghao Hu, Weifan Guan, Yifan Zhang, Peisong Wang, Jian Cheng·· 12 小时前AI 评分31
NormTune：面向推理密集型任务的范数引导参数高效微调方法
NormTune: Norm-Guided Parameter-Efficient Fine-Tuning for Reasoning-Intensive Tasks
AI 导读
研究者提出 NormTune，一种按权重更新范数自适应增强更新不足层的参数高效微调策略，用于缩小 PEFT 与全量微调在推理密集型任务上的差距。
正文 · AI 翻译
摘要：全量微调在推理密集型任务上取得了显著成功，但往往需要消耗大量 GPU 资源。参数高效微调（PEFT）为降低这一成本提供了一种有前景的替代方案，但我们观察到它在推理密集型任务上存在明显的性能差距。本文提出三项关键观察，表明这一差距与范数相关的欠适配密切相关，即 PEFT 产生的权重更新范数明显小于全量微调。基于这些观察，我们提出了范数引导的参数高效微调（NormTune），这是一种简单而有效的策略，可根据各层的权重更新范数自适应地增强更新不足的层。大量实验表明，NormTune 在多个具有挑战性的推理基准上持续提升了多种 PEFT 方法。具体而言，在 S1K-1.1 上训练时，将 NormTune 集成到 rank-8 LoRA、Bone 和 MoRA 中，在 AIME 2024、MATH 500、GPQA 和 AIME 2025 上分别带来了 24.24\%、11.33\% 和 16.21\% 的平均准确率显著提升。此外，经 NormTune 增强的 rank-256 LoRA、Bone 和 MoRA 达到了与 S1 全量微调相当的性能，相较该基线分别平均提升 2.17\%、0.93\% 和 3.00\%。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.29134 [cs.AI] |
| （或 arXiv:2610.29134v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29134 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Li Zhangming [查看邮箱]
[v1]
2026年10月21日 星期三 03:14:09 UTC（2,229 KB）
来源：arXiv cs.AI · arxiv.org