arXiv cs.AI· Haodong Chen, Shengtao Wen, Dong Liang, Lingbing Guo, Xiang Chen·· 3 天前AI 评分26
MLLM 遗忘学习中的知识遗忘与拒答学习解耦：FASD 方法
Decoupling Knowledge Forgetting and Refusal Learning in MLLM Unlearning
AI 导读
针对多模态大模型遗忘评估只关注是否停止输出目标信息的问题，研究者提出 Forget-Aware Self-Distillation（FASD），将遗忘拆分为行为通道与知识通道：前者从被提示"无知"的模型自身副本中蒸馏拒答行为并遮蔽目标 token，后者直接抑制真实答案片段。
正文 · AI 翻译
摘要：当前对多模态遗忘的评估通常关注模型是否停止输出目标信息。然而，这种表面层面的标准掩盖了两种关键失效模式。第一，知识抑制技术常常诱发虚构，导致模型对已遗忘主题产生幻觉。第二，拒绝训练仅改变可观察行为，并未抹除底层知识；此类模型可能拒绝开放式查询，但在多项选择探测下仍能识别正确答案。为克服这些局限，我们提出遗忘感知自蒸馏（FASD）。该方法旨在实现诚实的无知，即模型真正丢失目标知识并学会承认其缺失。FASD 将这两个目标分离为两个互补通道。行为通道从模型自身经无知提示的副本中蒸馏出恰当的拒绝。关键在于，目标 token 从教师分布中被掩蔽，以避免意外重新教授已遗忘的概念。同时，知识通道直接抑制真实答案片段，独立于模型生成的响应。实验表明，FASD 成功遗忘目标知识，防止开放式任务中的信息泄露，并保持保留数据上的性能。所得模型不仅遗忘指定信息，还能准确识别自身知识的边界。代码和数据将在发表后发布。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；信息检索（cs.IR）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.14605 [cs.AI] |
| （或 arXiv:2610.14605v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14605 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Chen Haodong [查看电子邮件]
[v1]
2026年10月10日星期六 05:46:42 UTC（2,213 KB）
来源：arXiv cs.AI · arxiv.org