arXiv cs.AI· Shuran Ma, JiaLe Li, Yuxin Dong, Shan Zheng, Qingyun Jiang, Xiang Chen, Qi Zhu, Deyi Ji, Yifan Yang, Jianfeng Pan, Yu Tian, Xue Yang·· 9 天前AI 评分27
AIMS：自适应多上下文引导缓解 LVLM 幻觉
Beyond Visual Enhancement: Adaptive Multi-Context Steering to Mitigate LVLM Hallucinations
AI 导读
研究者提出 AIMS（Adaptive Information Multi-source Steering），一个无需训练的轻量框架，通过在解码时自适应协调视觉、预填充文本与生成文本三种上下文来源来缓解 LVLM 幻觉。
正文 · AI 翻译
作者：Shuran Ma、JiaLe Li、Yuxin Dong、Shan Zheng、Qingyun Jiang、Xiang Chen、Qi Zhu、Deyi Ji、Yifan Yang、Jianfeng Pan、Yu Tian、Xue Yang
摘要：幻觉仍然是大规模视觉语言模型（LVLM）面临的一项重大挑战。现有的免训练方法通常通过对比解码或视觉增强来缓解幻觉，往往在生成过程中增加视觉证据的相对影响。这引出了一个根本性问题：LVLM 能否动态调节不同上下文来源的贡献以抑制幻觉？在本工作中，我们研究并量化了 LVLM 在解码过程中如何协调多个上下文来源，并考察这种内在行为如何指导幻觉缓解。我们发现 LVLM 表现出一种内在的视觉关注倾向，可以指导自适应视觉引导，而文本上下文也有助于缓解幻觉。受这些发现的启发，我们提出了 AIMS（自适应信息多源引导），一个轻量级的免训练框架，在解码过程中自适应地协调视觉、预填充文本和生成上下文。具体而言，AIMS 为这三个上下文域构建紧凑原型，并估计它们与当前查询的亲和度，以确定逐头的引导权重。由此产生的多源引导方向被应用于查询表示，从而在无需额外模型训练或辅助前向传播的情况下实现自适应上下文整合。在多个 LVLM 和多种解码策略上的大量实验表明，AIMS 有效缓解了物体幻觉，同时保持了具有竞争力的通用多模态能力。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11907 [cs.CV] |
| （或 arXiv:2610.11907v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11907 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shuran Ma [查看电子邮件]
[v1]
2026年10月8日星期四 13:08:44 UTC（9,294 KB）
来源：arXiv cs.AI · arxiv.org