arXiv cs.AI· Xinghao Li, Chenchen Tan, Youyang Qu, Shujie Cui, Xingliang Yuan, Cunjian Chen, Chi Liu, Longxiang Gao·· 10 小时前AI 评分32
多模态大推理模型中的推理感知跨模态关联遗忘
Reasoning-Aware Cross-Modal Association Unlearning in Multimodal Large Reasoning Models
AI 导读
研究提出 Visual-Keyed Counterfactual Rebinding（VKCR），一种参数高效的跨模态关联编辑框架，用于在多模态大推理模型（MLRMs）中抑制指定视觉上下文下的目标知识行为，同时保留该知识在允许上下文中的访问。
正文 · AI 翻译
摘要：多模态大推理模型（MLRMs）将视觉输入与文本及参数化知识相结合，使得在推理过程中可以通过跨模态关联访问敏感信息。当某一视觉输入不应再提供对此类信息的访问权限时，这便引发了隐私问题。机器遗忘可以在无需从头重新训练模型的情况下消除这种影响。然而，多模态遗忘方法主要针对样本、概念或知识内容，并未将知识与访问该知识所经由的跨模态关联分离开来。在推理模型中，目标信息可能从最终答案中消失，却仍保留在中间推理过程中，或被错误的替代知识所取代。因此，我们研究跨模态关联遗忘，其中遗忘目标是指定的视觉到知识关联：模型应在指定的视觉语境下抑制携带目标的行为，同时在允许的语境中保留对同一知识的访问。我们提出视觉键控反事实重绑定（VKCR），这是一个用于跨模态关联编辑的参数高效框架。VKCR 首先将编辑定位到一个紧凑的、以关联为条件的参数子空间。随后，它在任务输出处降低对指定目标的支持，并通过抑制携带目标或无支持的续写、同时偏好有效的非敏感替代项，对受影响的推理行为进行反事实重绑定。我们进一步引入 CLEAR-R 和 MLLMU-R，以评估目标泄漏、幻觉性重关联、推理保持以及模态特定效用。实验表明，VKCR 大幅减少了图像条件下的目标泄漏和幻觉性重关联（包括在异构任务形式下），同时保留了非敏感视觉推理和允许的纯文本知识。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.06168 [cs.CV] |
| （或 arXiv:2611.06168v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06168 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chenchen Tan [查看邮箱]
[v1]
2026年11月4日星期三 08:48:07 UTC（318 KB）
来源：arXiv cs.AI · arxiv.org