按梯度范数排序与划分注意力头，实现稀疏持续强化学习微调

Ranking and Partitioning of Attention Heads for Sparse and Continual Reinforcement Learning Fine-tuning

AI 导读

研究通过梯度范数对注意力头排序与划分，实现语言模型的稀疏持续强化学习微调。在数学、指令遵循和编码任务上，微调高排名注意力头持续优于低排名头，且常能匹配更密集的基线；注意力头划分则提升旧任务保留能力，同时保持对新任务的适应。

正文 · AI 翻译

摘要：我们通过注意力头排序与划分，研究语言模型的稀疏与持续强化学习微调。对于稀疏学习，我们按梯度范数对注意力头排序，以识别出可有效训练的一小部分头。对于持续学习，我们将注意力头跨任务划分，以减少跨任务干扰并保留先前学到的能力。在理论上，我们将梯度范数与训练有效性联系起来，并进一步刻画为何稀疏、分离的头更新能够保持稳定。在实证上，在数学、指令遵循和编码任务中，微调排名较高的头始终优于微调排名较低的头，同时往往与更密集的基线相当，而头划分在保持对新任务适应性的同时提高了保留能力。

评论：	26 页，欢迎评论
主题：	机器学习（cs.LG）；计算与语言（cs.CL）
引用为：	arXiv:2610.21336 [cs.LG]
	（或 arXiv:2610.21336v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.21336 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Ruizhe Shi [查看电子邮件]
[v1] 2026 年 10 月 15 日星期四 06:21:56 UTC（155 KB）

来源：arXiv cs.CL · arxiv.org