arXiv cs.AI· Junkai Lin, Junkai Chen, Siqi Hou, Yuhao He, Ruiqi Liu, Chenhan Jin, Shengze Xu, Tieyong Zeng, Xiangyuan Lan·· 3 天前AI 评分29
面向细粒度遗忘：多模态大语言模型的属性级遗忘学习
Toward Fine-Grained Forgetting:Attribute Unlearning for Multimodal Large Language Models
AI 导读
研究者提出属性级 MLLM 遗忘任务并构建 AMU-Bench，覆盖长文本、数字和短文本目标及多种遗忘比例与题型。针对目标属性与保留属性共享身份和视觉证据导致的残留泄漏问题，提出免训练框架 CLRP，通过因果定位与保留感知投影实现选择性遗忘。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）能够记忆并泄露敏感信息，这促使人们研究机器遗忘，以在移除指定知识的同时保持模型效用。现有的面向隐私的基准主要研究画像级别的删除，而实际请求往往需要更细粒度的遗忘：移除某个敏感属性，同时保留同一身份的其他信息。我们引入了属性级 MLLM 遗忘，并构建了 AMU-Bench，涵盖长文本、数值和短文本目标、多种遗忘比例以及多样的问题类型。我们的评估表明，目标属性与保留属性共享身份特定和视觉证据，使得选择性遗忘容易出现残留泄露和附带退化。为应对这一挑战，我们提出了因果定位与保留感知投影（CLRP），这是一个轻量级、免训练的框架，它定位因果相关的层，并将中间表示投影远离目标特定子空间，同时保留与保留相关的信息。在不同架构和规模的 MLLM 上进行的实验表明，CLRP 在 AMU-Bench 上实现了强大的遗忘—保留权衡。例如，在 5% 遗忘比例下，在报告的 LLaVA-1.5-7B 和 Qwen2.5-VL-3B 结果中，CLRP 将属性遗忘集填空准确率从 20.00% 降至 4.00%，同时将属性保留集准确率从 14.77% 提升至 17.79%。这些发现表明，在不修改模型参数的情况下实现了有效且选择性的属性级遗忘。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2608.01008 [cs.AI] |
| （或 arXiv:2608.01008v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2608.01008 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junkai Lin [查看邮箱]
[v1]
2026年8月2日星期日 05:23:44 UTC（4,629 KB）
[v2]
2026年10月12日星期一 16:44:31 UTC（2,561 KB）
来源：arXiv cs.AI · arxiv.org