跳到正文
arXiv cs.AI· Hansang Lee·· 23 小时前AI 评分31

偏好优化让 LLaVA-1.5-7B 少说也少认:诊断并恢复目标覆盖度

Say Less, Hallucinate Less? Diagnosing and Restoring Object Coverage in Preference-Optimized Vision-Language Models

AI 导读

研究发现 LLaVA-1.5-7B 的四个公开偏好优化(PO)检查点在降低目标幻觉的同时也降低了目标覆盖度,命名的目标类别更少,幻觉率下降未带来 CHAIR 集合级目标 F1 的显著提升。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:偏好优化(PO)是减少大型视觉语言模型中物体幻觉的标准方法。我们发现 LLaVA-1.5-7B 的四个公开 PO 检查点也会降低物体覆盖率。它们命名的物体类别更少,而且其更低的幻觉率并未在 CHAIR 上带来集合级物体 F1 的显著提升。因此我们提出疑问:基座模型通过提前停止能复现多少 PO 增益。正向的序列结束(EOS)logit 偏置使基座模型达到每个 PO 模型的召回率,而仅靠这种提前停止就在两个不相交的 COCO 集上复现了三个检查点 CHAIRi 增益的 58% 至 86%。写得更长并不能找回丢失的类别。在贪心解码下,负向 EOS 偏置仅能恢复这些检查点丢失的 CHAIR 召回率的 2% 至 9%,且新增物体提及中有 94% 至 96% 重复了已命名的类别。在 CHAIR 上,同一图像的基座描述仍能命名约一半被遗漏的物体类别。因此我们提出基座引导的物体类别恢复方法,它在无需训练的情况下将高置信度的仅基座类别追加到 PO 描述中。在开发集上固定阈值后,该方法在留出 COCO 集上使三个检查点与基座召回率的差距缩小到一点以内,且不同物体幻觉率低于基座模型。与召回率匹配的基座停止曲线相比,其增益在基座召回率附近对 RLAIF-V 成立,并在中等召回率下对 RLAIF-V 和 CHAIR-DPO 成立。我们将发布召回率受控评估的代码。
评论: 18 页,6 幅图,19 张表。正文与附录
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
ACM 分类: I.2.10;I.2.7
引用为: arXiv:2611.23179 [cs.CV]
  (或 arXiv:2611.23179v1 [cs.CV] 为此版本)
  https://doi.org/10.48550/arXiv.2611.23179

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Hansang Lee [查看邮箱]
[v1] 2026 年 11 月 17 日星期二 18:24:58 UTC(355 KB)

来源:arXiv cs.AI · arxiv.org