arXiv cs.CL· Maxime Dassen, Alexander Martin, Andrew Yates, Reno Kriz, William Walden·· 12 小时前AI 评分31
按需接地：让视觉语言模型学会模态控制
Grounding on Request: Learning Modality Control in Vision-Language Models
AI 导读
研究提出通过冲突保留的反事实干预评估视觉语言模型的模态接地控制，用 Flip 衡量答案是否跟随指定模态的编辑、Stay 衡量竞争模态被编辑时答案是否稳定。方法借鉴新词学习，为视觉和文本接地各引入新词并只训练其嵌入向量、保持预训练模型固定，同时提出 Counterfactual Twin-Margin（CTM）监督。
正文 · AI 翻译
摘要：当图像与其说明文字不一致时，用户能否可靠地控制视觉语言模型（VLM）遵循哪一个？仅凭准确率无法回答这个问题，因为模型可能依据参数化知识给出正确答案，而并未遵循所要求的证据。因此，我们通过保留冲突的反事实干预来评估模态接地控制。具体而言，Flip 衡量一个最初正确的答案是否会随对所要求模态的编辑而变化，而 Stay 衡量当竞争模态被编辑时该答案是否保持稳定。为了学习这种控制，我们在新词学习的基础上，为视觉和文本接地引入新词，仅训练它们的嵌入，同时保持预训练模型固定。我们还引入了反事实双边际（CTM）监督，它使用成对的干预来教导当所要求的证据发生变化时答案概率应如何变化。在三个 VLM、三个现有基准以及我们的多属性 Ground-CF 基准上，我们发现学习到的模态词相比自然语言指令提升了控制能力。令人惊讶的是，每个模态仅一个学习到的嵌入就能提供强大的轻量级视觉控制，并且在留出值上平均退化很小。LoRA 总体上仍然最强，尽管其视觉优势在留出评估下有所缩小。此外，在标准监督较弱的若干设置中，反事实监督提升了控制能力。最后，我们在真实世界新闻视频上测试了我们的方法，发现当相关证据更容易获取时，视觉控制会得到改善。总体而言，我们的结果表明，可靠的模态控制不仅需要测试答案是否正确，还需要测试它是否持续遵循对所选择模态的编辑。
| 评论： | 预印本。代码：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.33841 [cs.CV] |
| （或 arXiv:2610.33841v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33841 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Maxime Dassen [查看邮箱]
[v1]
2026年10月24日星期六 18:30:33 UTC（677 KB）
来源：arXiv cs.CL · arxiv.org