arXiv cs.AI· Qiji Zhou, Junyi Hu, Peiyu Wang, Yue Zhang·· 6 天前AI 评分22
多模态 LLM 的 Evidence Anchoring Boundary：视觉干预在哪里有效、何时有用
The Evidence Anchoring Boundary: Where Visual Interventions Matter and When They Help in Multimodal LLMs
AI 导读
研究提出多模态大语言模型中的 Evidence Anchoring Boundary（EAB），即视觉残差编辑在解码器逐层施加时干预效果持续衰减的操作起点。在三个模型家族六个 checkpoint 上，EAB 之前留出评估查询的干预效果比之后大 13.78×–26.10×。
正文 · AI 翻译
摘要：视觉干预提供了一种无需训练即可减少多模态大语言模型幻觉的方法。然而，干预在某些层可能作用有限，甚至即使改变了输出，也可能破坏原本正确的答案。我们研究了视觉干预在何处仍能发挥作用，以及何时能改善预测。首先，我们在连续的解码器层上应用相同的视觉残差编辑，并在不同深度上匹配其 RMS 强度。在来自三个模型家族的六个检查点上，我们观察到干预效果持续下降，并将此编辑的操作性起始点定义为 \textbf{证据锚定边界（EAB）}。在校准查询上固定边界后，EAB 之前在不重叠评估查询上的留出效应比之后大 $13.78\times$--$26.10\times$。与中间读出结果的比较表明，该编辑可能在答案偏好稳定之前就失去作用。其次，我们比较了在存在性、属性和关系问题上的反事实减法。减法可以纠正误导性偏好、保持决策不变，或移除支持正确答案的偏好。基于这些观察，我们开发了校准选择性路由，除非校准支持对问题类型进行干预，否则保留原始预测。它在三个检查点上将全属性准确率提高了 $1.56$--$1.81$ 个百分点，而通用减法则是中性或有害的。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.12981 [cs.CV] |
| （或 arXiv:2610.12981v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12981 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Qiji Zhou [查看电子邮件]
[v1]
2026年10月9日星期五 04:26:50 UTC（2,688 KB）
来源：arXiv cs.AI · arxiv.org