arXiv cs.CL· Reeyansh Shah, Maram Hasan, Subhasis Chaudhuri, Biplab Banerjee·· 2 天前AI 评分20
FIRM：面向联邦 LLM 遗忘的 Fisher 感知保留合并框架
FIRM: Fisher-Informed Retention Merging for Federated LLM Unlearning
AI 导读
FIRM 是一个单轮联邦 LLM 遗忘服务端聚合框架，利用客户端本地 Fisher 统计量构建 Fisher 归一化基础合并，并对保留敏感参数施加显式控制，以缓解跨客户端聚合导致的幅度爆炸问题。
正文 · AI 翻译
摘要：联邦 LLM 遗忘处理的是当遗忘数据和保留数据仍分布在私有客户端上且服务器无法访问时的定向知识移除。由此产生的本地训练适配器编码了相互冲突的目标，使其聚合从根本上不同于传统的联邦优化。一个关键失效模式是幅度爆炸，即未归一化的跨客户端聚合会增大合并更新的幅度，并在更强的遗忘下降低保留效用。我们提出 FIRM（Fisher-Informed Retention Merging），一个用于稳定且保留感知的服务器端聚合的单轮框架。FIRM 使用客户端本地 Fisher 统计量作为统一的敏感度信号，以构建 Fisher 归一化的基础合并，并对保留敏感参数施加显式控制。其二阶保留投影具有唯一的最小距离解，而相应的对偶变量随保留客户端数量而非模型维度缩放。在 WMDP、TOFU 和 MUSE-HP 上使用 Zephyr-7B 和 Llama-3-8B 进行的实验表明，在 WMDP 和 MUSE-HP 上，在遗忘程度相当的情况下效用有所提升，而在 TOFU 上则存在依赖于指标的权衡。受控比较支持在选定操作点上结合基础合并与额外保留校正所带来的收益。
| 评论： | 16 页，1 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21720 [cs.LG] |
| （或 arXiv:2610.21720v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21720 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Reeyansh Shah [查看电子邮件]
[v1]
2026年10月15日星期四 11:39:55 UTC（2,176 KB）
来源：arXiv cs.CL · arxiv.org