跳到正文
arXiv cs.AI· Hyeonggeun Han, Taehyun Cho, Sangwoo Hong·· 3 天前AI 评分22

EGVCA:面向大型视觉语言模型的免训练幻觉缓解框架

From Token Correction to Claim Admission: Training-Free Hallucination Mitigation for Large Vision-Language Models

AI 导读

研究者提出免训练框架 EGVCA(Evidence-Guided Visual Claim Admission),通过对比图像输入与视觉空输入下的语义主张似然,仅在主张获得足够图像相关支持时才予以采纳。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型视觉语言模型常出现物体幻觉,生成输入图像并不支持的论断。为缓解这一问题,我们提出证据引导的视觉论断准入(EGVCA),一个无需训练的框架,仅当语义论断获得足够的图像相关支持时才予以准入。EGVCA 通过比较该论断在观测图像与视觉空输入下的似然来衡量这种支持。对于图像描述,它在不改变 token 生成的情况下控制语义扩展。对于二元视觉问答,它将原子视觉支持与图像引起的模型原生 Yes--No 边际变化相结合。在 CHAIR、POPE 和 MME 上跨三个 LVLM 骨干网络的实验表明,EGVCA 在保持描述质量的同时大幅减少物体幻觉。它在九种骨干网络--采样设置中的八种取得最高的 POPE F1,并在全部三个骨干网络上提升原生 MME 总分。这些结果证明,论断级准入作为 token 级分布校正的一种简单替代方案是有效的。
学科: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2610.17706 [cs.CV]
  (或 arXiv:2610.17706v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.17706

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Sangwoo Hong [查看邮箱]
[v1] 2026年10月13日星期二 04:35:53 UTC(1,792 KB)

来源:arXiv cs.AI · arxiv.org