arXiv cs.AI· Liying Wang, Simone Magistri, Joost van de Weijer·· 12 小时前AI 评分20
Fisher-Shaped EWC：面向无回放持续学习的 Fisher 敏感度邻域控制方法
Beyond Parameter Protection: Fisher-Shaped EWC for Replay-Free Continual Learning
AI 导读
研究者提出 Fisher-Shaped EWC（FS-EWC），将 Fisher 信息矩阵的作用从参数保护扩展到解的塑造：任务学习时最小化指定邻域内最坏情况的经验 FIM 迹，任务结束时用基于轨迹的模型合并从多个优化状态构建保留解。多基准实验显示其性能优于 EWC，并在稳定性—可塑性平衡与参数漂移容忍度上表现更好。
正文 · AI 翻译
摘要：在无回放的持续学习中，弹性权重巩固（EWC）利用 Fisher 信息矩阵（FIM）通过惩罚对历史上重要参数的改动来保护已获得的知识。然而，在保留解处的局部重要性估计通常无法刻画有限参数位移后的敏感性。这促使我们在潜在未来更新的邻域内控制 Fisher 敏感性。我们提出 Fisher-Shaped EWC（FS-EWC），它将 FIM 的作用从参数保护扩展到为未来保留而进行的解形成。在任务学习过程中，FS-EWC 在规定的邻域内最小化最坏情况下的经验 FIM 迹，从而显式地偏好对有限未来位移较不敏感的解。在任务完成时，基于轨迹的模型合并从多个优化状态而非单个终端迭代点构造保留解，随后估计 FIM 以用于后续巩固。在多个基准上的实验表明，FS-EWC 相比 EWC 提升了性能，而受控研究表明其具有更有利的稳定性—可塑性平衡以及对参数漂移更大的容忍度。这些结果表明，有效的知识保留既需要在形成解时考虑未来保留，也需要保护已获得的知识。
| 评论： | 9 页，7 幅图，会议 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37145 [cs.LG] |
| （或 arXiv:2610.37145v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37145 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Liying Wang [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 12:42:27 UTC（1,168 KB）
来源：arXiv cs.AI · arxiv.org