arXiv cs.AI· Yujin Jo, Sangyoon Bae, Taesup Kim·· 11 小时前AI 评分32
ACG：面向 LVLM 高效幻觉缓解的注意力空间对比引导
Attention-space Contrastive Guidance for Efficient Hallucination Mitigation in LVLMs
AI 导读
研究者提出 Attention-space Contrastive Guidance（ACG），一种无需训练、单次前向即可在自注意力层内引导 LVLM 生成的幻觉缓解方法，通过构建图像条件与近似纯文本两条注意力路径并施加轻量正交投影抑制纯文本偏置。
正文 · AI 翻译
摘要：大型视觉语言模型（LVLM）中的幻觉往往源于语言先验压过视觉证据，导致物体误识别和视觉上不一致的描述。我们将幻觉缓解构建为对比引导，引导生成朝向视觉有据且语义忠实的文本。我们提出注意力空间对比引导（ACG），这是一种无需训练、单次通过的方法，直接作用于自注意力层，即诱发幻觉的跨模态偏差出现之处。ACG 在单次前向传播中同时构建图像条件和近似纯文本注意力路径，从而在错误于输出层累积之前实现高效引导。由于这种基于掩码的替代方法可能引入近似偏差，我们进一步应用轻量正交投影，抑制与纯文本路径对齐的分量，从而获得更具视觉依据的校正。在 CHAIR 和 POPE 上的实验表明，ACG 在保持字幕质量的同时，相比现有无需训练的基线提升了忠实度，与多遍对比解码方法相比，延迟最多降低 $2\times$。
| 评论： | 已被 CVPR 2026 Findings 接收。代码：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2601.13707 [cs.CV] |
| （或 arXiv:2601.13707v3 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.13707 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yujin Jo [查看邮箱]
[v1]
2026年1月20日星期二 08:04:18 UTC（1,624 KB）
[v2]
2026年4月19日星期日 15:15:41 UTC（1,606 KB）
[v3]
2026年10月23日星期五 16:39:00 UTC（1,606 KB）
来源：arXiv cs.AI · arxiv.org