arXiv cs.CL· Junrong Tang, Jianghui Wang, Hao Kong, Yang Lin, Yibo Yang·· 10 小时前AI 评分35
HyperRepair：恢复微调语言模型遗忘的通用能力
HyperRepair: Recovering Forgotten General Capabilities of Fine-Tuned Language Models
AI 导读
HyperRepair 框架可在仅付出推理成本的情况下恢复微调语言模型被削弱的通用能力，同时保留领域专精。它从源模型上的修复过程学习超网络，利用激活指纹为未见适配领域的模型生成定制 Repairing Side Net（RSN），无需目标领域样本或额外优化。
正文 · AI 翻译
摘要：微调能提升语言模型在目标领域中的表现，但可能削弱其通用能力。现有方法往往在通用能力与领域专精之间面临权衡，难以两者兼顾。我们提出 HyperRepair，这是一个仅需推理成本即可在保留领域专精的同时恢复通用能力的框架。为使恢复能力可泛化到共享预训练骨干的模型，HyperRepair 从在源模型上训练的修复中学习一个超网络。该超网络利用激活指纹（概括相对于预训练骨干的变化）生成定制的修复侧网络（RSN），其以提示为条件的门控会选择性地施加修正。这使得无需目标领域样本或额外优化，即可在来自未见适应领域的模型上实现恢复。我们在两个模型家族、12 个 LoRA 适应数据集和 15 个通用基准上评估了 HyperRpair。在默认划分上，HyperRepair 达到基模型平均通用分数的 93.4%，同时保留微调模型平均领域分数的 99.5%。
| 评论： | 29 页，5 张图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41147 [cs.CL] |
| （或 arXiv:2610.41147v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41147 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Junrong Tang [查看邮箱]
[v1]
2026年10月30日星期五 02:09:34 UTC（982 KB）
来源：arXiv cs.CL · arxiv.org