arXiv cs.AI· Chenlu Ding, Jiancan Wu, Yanchen Luo, Tianyu Zhang, Yancheng Yuan, Xiang Wang, Xiangnan He·· 3 天前AI 评分24
CUSE：基于反事实引导与在线自蒸馏的多模态大模型细粒度遗忘框架
CUSE: Fine-Grained Multimodal Unlearning with Counterfactual Guidance and On-Policy Self-Distillation
AI 导读
CUSE 通过移除目标相关证据构建反事实输入，利用 token 概率变化定位需强化遗忘的 token，再以冻结的原始模型为教师、结合遗忘与保留两种特权上下文，对当前策略采样响应做 token 级在线自蒸馏。在 MLLMU-Bench 上，CUSE 将遗忘集 ROUGE-L 降低 33.6%，保留集 ROUGE-L 比最强基线高 1.2%。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）可能复现其训练数据中的敏感、受版权保护或不安全信息。有效的遗忘必须在移除目标信息的同时保留非目标内容，即使二者位于同一回复中。现有方法通常对完整回复施加统一的遗忘目标，并依赖固定的离策略监督，导致 token 级控制粗糙且与模型当前行为不一致。我们提出 CUSE，一种通过在线策略自蒸馏实现的反事实引导遗忘框架，用于多模态大语言模型。它首先通过移除目标相关证据来构造反事实输入，并利用由此产生的 token 概率变化来识别哪些 token 需要更强的遗忘。然后，它基于当前策略采样的回复，蒸馏 token 级的遗忘与保留目标，并以原始模型的冻结副本作为教师模型，辅以相应的面向遗忘和面向保留的特权上下文。该设计共同决定了遗忘什么和保留什么。在 MLLMU-Bench 上，CUSE 将遗忘集 ROUGE-L 降低 33.6%，同时保留集 ROUGE-L 比最强基线高 1.2%。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.14763 [cs.AI] |
| （或 arXiv:2610.14763v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14763 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chenlu Ding [查看邮箱]
[v1]
2026年10月10日 星期六 09:37:30 UTC（19,741 KB）
来源：arXiv cs.AI · arxiv.org