arXiv cs.CL· Chengpeng Fu, Xiaocheng Feng, Wenshuai Huo, Yichong Huang, Baohang Li, Duyu Tang, Ting Liu·· 2 天前AI 评分26
VEPO:用视觉证据引导的偏好优化缓解 LVLM 多语言幻觉
VEPO: Mitigating Multilingual Hallucinations in LVLMs via Visual Evidence-guided Preference Optimization
AI 导读
VEPO 是一种训练时方法,通过将英语中可靠的视觉 grounding 迁移到其他语言,缓解 LVLM 在低资源语言下的物体幻觉,且无需外部模型。它先用英语查询经中间层跨模态注意力定位关键视觉证据,再构造答案相同但证据充分性不同的偏好对(完整图像 vs 关键区域遮挡图像)做直接偏好优化。在中文、法语、印地语的多语言 POPE 和 MME 上均降低幻觉并提升感知,最低资源语言提升最大。
正文 · AI 翻译
摘要:大型视觉语言模型(LVLMs)实现了强大的多模态性能,但仍易出现物体幻觉——生成语言流畅但视觉上缺乏依据的答案。这一问题在低资源语言中尤为严重,因为较弱的跨模态对齐使模型更依赖语言先验而非图像证据。现有补救方法要么需要昂贵的多语言标注或外部翻译/奖励模型,要么在推理时进行干预,可能扭曲输出语言。我们提出 VEPO(Visual Evidence-guided Preference Optimization,视觉证据引导的偏好优化),这是一种训练时方法,无需外部模型即可将可靠的视觉 grounding 从英语迁移到其他语言。VEPO 首先通过中层跨模态注意力使用英语查询定位关键视觉证据,然后构建偏好对,这些偏好对共享相同的正确答案,但在证据充分性上不同(完整图像 vs.\ 关键区域掩码图像)。对这些偏好对进行直接偏好优化,鼓励低资源输入偏好由完整视觉证据支持的答案。在中文、法语和印地语的多语言 POPE 和 MME 上的实验显示,幻觉持续减少且感知能力提升,其中在资源最低的语言上改进最大。分析进一步证实,VEPO 锐化了与问题相关的注意力,且证据引导的掩码优于随机掩码。
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2611.18096 [cs.CL] |
| (或 arXiv:2611.18096v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.18096 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Chengpeng Fu [查看电子邮件]
[v1]
2026年11月13日星期五 12:23:14 UTC(5,385 KB)
来源:arXiv cs.CL · arxiv.org