arXiv cs.CL· Hunar Batra, Lachin Naghashyar, Ashkan Khakzar, Philip Torr, Christian Schroeder de Witt, Constantin Venhoff, Ronald Clark·· 10 小时前AI 评分38
MMDiff：面向多模态模型的特征发现与控制框架
Multimodal Model Diffing for Feature Discovery and Control
AI 导读
MMDiff 是一个多模态模型 diffing 框架，通过训练多模态 SAE 并对比基础 LM 与多模态适配版本的 SAE，识别多模态训练改变的特征方向。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）展现出强大的视觉理解能力，但导致这些行为的内部特征仍然难以识别、审计或控制。虽然适用于事后检查，但使用稀疏自编码器（SAEs）将隐藏状态分解为可解释的特征方向，既不能轻易隔离出哪些特征被多模态训练改变，也不能直接用于定向控制。我们提出 MMDiff，一个多模态模型差异分析框架，它训练多模态 SAEs 并将其转化为特征级接口，用于发现和控制多模态行为。MMDiff 支持三种用途：(i) 特征隔离，通过将基础 LM SAE 与其多模态适配版本进行差异对比，以识别被多模态训练改变的特征；(ii) 任务特定特征检测，通过逐 token 对比触发分析来隔离因果特征；(iii) 特征级控制，通过因果性地移除或引导所发现的特征方向。我们为三个 MLLM 系列 LLaVA-MORE、PaliGemma 2 和 InternVL3.5 训练多模态 SAEs，并在视觉空间理解、多模态安全和 OCR 上进行评估。MMDiff 发现了稀疏的、因果特定的特征，移除这些特征会选择性降低目标行为，在空间任务上平均降低 12%，在 OCR 上降低 17%，并将多模态安全攻击的攻击成功率降低 24%，且不影响 VQA 性能。引导这些特征在标准单层引导基线上平均将空间和 OCR 准确率分别提高 +3.6% 和 +1.8%。这些结果表明，多模态 SAEs 不仅可以作为可解释性工具，还可以作为审计、引导和控制 MLLMs 行为以实现更安全、更强大生成的机制。
| 评论： | 被第 40 届神经信息处理系统大会（NeurIPS 2026）接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2608.09928 [cs.CV] |
| （或此版本的 arXiv:2608.09928v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2608.09928 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hunar Batra [查看电子邮件]
[v1]
2026 年 8 月 10 日星期一 17:59:30 UTC（43,197 KB）
[v2]
2026 年 11 月 10 日星期二 18:59:47 UTC（47,583 KB）
来源：arXiv cs.CL · arxiv.org