SHIFT方法提升大模型遗忘学习效果
热点事件持续更新
SHIFT方法提升大模型遗忘学习效果
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Hoang-Chau Luong 与 Lingwei Chen 提出大语言模型遗忘学习方法 SHIFT：先将微调后的模型向预微调权重收缩，再短暂重学保留集，以此估计指向重训练模型的遗忘方向，并把该方向外推为蒸馏目标迭代优化。 在 OpenUnlearning 统一协议下与 11 个基线对比，作者称 SHIFT 在全部 TOFU 设置中综合得分最高，与 oracle 的对齐程度平均比次优方法近 3.7 倍；在 MUSE 上保留知识最多。
AI 根据报道生成 · 48 分钟前更新
最新进展11月4日 13:00
SHIFT：通过外推“收缩-修复”前瞻实现大语言模型遗忘报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv cs.CLSHIFT：通过外推“收缩-修复”前瞻实现大语言模型遗忘
SHIFT 通过将微调后模型向预微调权重收缩并短暂重学保留集，估计指向重训练模型的遗忘方向，再外推为蒸馏目标迭代优化。在 OpenUnlearning 统一协议下对比 11 个基线，SHIFT 在全部 TOFU 设置中取得最高综合得分，与 oracle 的对齐程度平均比次优方法近 3.7 倍；在 MUSE 上保留知识最多。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。