固定logit校正难逆转模型遗忘
热点事件持续更新
固定logit校正难逆转模型遗忘
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Hanyu Yang 提交的论文检验能否用固定的词表偏置（每个 token 的固定加分或减分）单独或配合温度参数，逆转语言模型微调或继续预训练后的“遗忘”。在 14 对 1B 至 7B 参数的基础模型与衍生模型上，top-4K 偏置的最大损失恢复估计不足 10%，偏置加温度最高可恢复 36%。 研究还发现，在数学数据上继续预训练的模型遗忘最严重，且几乎无法通过这种固定校正恢复。
AI 根据报道生成 · 56 分钟前更新
最新进展11月2日 13:00
固定权重下的损失修复：用 Logit 校正缓解语言模型遗忘报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv cs.CL固定权重下的损失修复：用 Logit 校正缓解语言模型遗忘
研究检验能否用固定的词表偏置（每个 token 的固定加分或减分）单独或配合温度参数，逆转语言模型微调或继续预训练后的"遗忘"。在 14 对 1B 至 7B 参数的基础模型与衍生模型上，top-4K 偏置的最大损失恢复估计不足 10%，偏置加温度最高可恢复 36%；在数学数据上继续预训练的模型遗忘最严重且几乎无法恢复。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。