arXiv cs.AI· Hyeonggeun Han, Taehyun Cho, Sangwoo Hong·· 3 天前AI 评分22
EGVCA:面向大型视觉语言模型的免训练幻觉缓解框架
From Token Correction to Claim Admission: Training-Free Hallucination Mitigation for Large Vision-Language Models
AI 导读
研究者提出免训练框架 EGVCA(Evidence-Guided Visual Claim Admission),通过对比图像输入与视觉空输入下的语义主张似然,仅在主张获得足够图像相关支持时才予以采纳。
正文 · AI 翻译
摘要:大型视觉语言模型常出现物体幻觉,生成输入图像并不支持的论断。为缓解这一问题,我们提出证据引导的视觉论断准入(EGVCA),一个无需训练的框架,仅当语义论断获得足够的图像相关支持时才予以准入。EGVCA 通过比较该论断在观测图像与视觉空输入下的似然来衡量这种支持。对于图像描述,它在不改变 token 生成的情况下控制语义扩展。对于二元视觉问答,它将原子视觉支持与图像引起的模型原生 Yes--No 边际变化相结合。在 CHAIR、POPE 和 MME 上跨三个 LVLM 骨干网络的实验表明,EGVCA 在保持描述质量的同时大幅减少物体幻觉。它在九种骨干网络--采样设置中的八种取得最高的 POPE F1,并在全部三个骨干网络上提升原生 MME 总分。这些结果证明,论断级准入作为 token 级分布校正的一种简单替代方案是有效的。
| 学科: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2610.17706 [cs.CV] |
| (或 arXiv:2610.17706v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.17706 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Sangwoo Hong [查看邮箱]
[v1]
2026年10月13日星期二 04:35:53 UTC(1,792 KB)
来源:arXiv cs.AI · arxiv.org