arXiv cs.CL· Hanyu Yang·· 10 小时前AI 评分31
固定权重下的损失修复：用 Logit 校正缓解语言模型遗忘
Less Loss, Fixed Weights: Logit Corrections for Forgetting
AI 导读
研究检验能否用固定的词表偏置（每个 token 的固定加分或减分）单独或配合温度参数，逆转语言模型微调或继续预训练后的"遗忘"。在 14 对 1B 至 7B 参数的基础模型与衍生模型上，top-4K 偏置的最大损失恢复估计不足 10%，偏置加温度最高可恢复 36%；在数学数据上继续预训练的模型遗忘最严重且几乎无法恢复。
正文 · AI 翻译
摘要：当语言模型经过微调以遵循指令，或在新主题上进一步预训练后，它预测标准网页文本的能力往往会变差。这被称为“遗忘”。我们研究这种损失能否通过对模型最终 token 预测进行简单、固定的调整来消除。在 14 对基础模型与派生模型（参数量从 1B 到 7B）中，我们为每个 token 拟合了一个固定的奖励或惩罚（词汇偏置），单独使用或与温度参数一起使用。在用于校正拟合的留出文本上，最大的 top-4K 偏置恢复估计低于 10%，损失以保留词汇为条件。将偏置与温度结合可恢复高达 36%。在数学数据上进一步预训练的模型损失最大，且几乎无法恢复。最后，在一个受控模拟中，模型被随机损坏，没有植入偏置或温度变化，偏置加温度的修复仍能恢复 29%。真实模型损失增加的大部分仍超出我们受限拟合的范围。
| 评论： | 8 页，3 幅图，2 张表。代码和数据：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.42000 [cs.LG] |
| （或 arXiv:2610.42000v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.42000 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hanyu Yang [查看电子邮件]
[v1]
2026 年 10 月 30 日星期五 16:44:30 UTC（54 KB）
来源：arXiv cs.CL · arxiv.org