arXiv cs.CL· Oscar Chew, Po-Yi Lu, Yi-Jie Cheng, Kunal Jain, Hsuan-Tien Lin, Zhengzhong Tu, Kuan-Hao Huang·· 3 天前AI 评分23
我们真的在测量遗忘吗？多模态 LLM 机器遗忘评估的陷阱
Are We Really Measuring Forgetting? Pitfalls in Evaluating Machine Unlearning for Multimodal LLMs
AI 导读
研究指出当前多模态大模型机器遗忘评估存在三大陷阱：缺少留出评估以区分概念级遗忘与实例级过拟合、依赖合成微调知识而非预训练获得的真实知识、对不同遗忘方法套用相同训练设置导致比较不公。
正文 · AI 翻译
摘要：随着多模态大语言模型（MLLMs）的机器遗忘技术迅速发展，对其有效性的严格评估变得日益重要。然而，现有基准大多沿用纯文本遗忘的评估协议，忽视了多模态场景下遗忘所面临的独特挑战。在本工作中，我们指出了可能导致误导性结论的三大陷阱：缺乏留出评估，无法区分真正的概念级遗忘与实例级过拟合；依赖合成的、微调获得的知识，而非预训练过程中获得的真实世界知识；以及因对不同遗忘方法采用相同训练设置而导致的不公平方法比较。为应对这些挑战，我们提出了 GEMMU（多模态机器遗忘的可泛化评估），这是一个基于真实世界知识和原则化评估协议构建的基准。在 GEMMU 下重新评估具有代表性的遗忘方法，揭示了显著的泛化差距，并对先前基准得出的结论提出了挑战。我们的发现凸显了严格评估对于推进多模态机器遗忘的重要性，并为未来的基准设计提供了指导。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19613 [cs.CL] |
| （或 arXiv:2610.19613v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19613 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
发件人：Oscar Chew [查看电子邮件]
[v1]
2026年10月14日星期三 05:36:03 UTC（10,828 KB）
来源：arXiv cs.CL · arxiv.org