跳到正文
arXiv cs.CL· Chengpeng Fu, Xiaocheng Feng, Wenshuai Huo, Yichong Huang, Baohang Li, Duyu Tang, Ting Liu·· 2 天前AI 评分26

VEPO:用视觉证据引导的偏好优化缓解 LVLM 多语言幻觉

VEPO: Mitigating Multilingual Hallucinations in LVLMs via Visual Evidence-guided Preference Optimization

AI 导读

VEPO 是一种训练时方法,通过将英语中可靠的视觉 grounding 迁移到其他语言,缓解 LVLM 在低资源语言下的物体幻觉,且无需外部模型。它先用英语查询经中间层跨模态注意力定位关键视觉证据,再构造答案相同但证据充分性不同的偏好对(完整图像 vs 关键区域遮挡图像)做直接偏好优化。在中文、法语、印地语的多语言 POPE 和 MME 上均降低幻觉并提升感知,最低资源语言提升最大。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型视觉语言模型(LVLMs)实现了强大的多模态性能,但仍易出现物体幻觉——生成语言流畅但视觉上缺乏依据的答案。这一问题在低资源语言中尤为严重,因为较弱的跨模态对齐使模型更依赖语言先验而非图像证据。现有补救方法要么需要昂贵的多语言标注或外部翻译/奖励模型,要么在推理时进行干预,可能扭曲输出语言。我们提出 VEPO(Visual Evidence-guided Preference Optimization,视觉证据引导的偏好优化),这是一种训练时方法,无需外部模型即可将可靠的视觉 grounding 从英语迁移到其他语言。VEPO 首先通过中层跨模态注意力使用英语查询定位关键视觉证据,然后构建偏好对,这些偏好对共享相同的正确答案,但在证据充分性上不同(完整图像 vs.\ 关键区域掩码图像)。对这些偏好对进行直接偏好优化,鼓励低资源输入偏好由完整视觉证据支持的答案。在中文、法语和印地语的多语言 POPE 和 MME 上的实验显示,幻觉持续减少且感知能力提升,其中在资源最低的语言上改进最大。分析进一步证实,VEPO 锐化了与问题相关的注意力,且证据引导的掩码优于随机掩码。
主题: 计算与语言(cs.CL)
引用为: arXiv:2611.18096 [cs.CL]
  (或 arXiv:2611.18096v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.18096

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Chengpeng Fu [查看电子邮件]
[v1] 2026年11月13日星期五 12:23:14 UTC(5,385 KB)

来源:arXiv cs.CL · arxiv.org