arXiv cs.CL· Hsin-Ling Hsu, Neeraja Kirtane, Kuan-Hao Huang·· 11 小时前AI 评分31
并非每个提及都是断言：重新审视视觉语言模型中的物体幻觉检测
Not Every Mention Is a Claim: Rethinking Object Hallucination Detection in Vision-Language Models
AI 导读
研究指出，现有视觉语言模型幻觉检测器把字幕中所有物体提及都当作“物体存在”的断言，而“a bench for people to sit on”这类非断言性提及会被误判为幻觉。
正文 · AI 翻译
摘要：视觉语言模型（VLM）中的物体幻觉通常通过将标题中提到的每个物体与图像进行核对来衡量。大多数基准和检测器都将每一次物体提及视为该物体存在的断言。当标题提及某个物体但并未断言其存在时，这一假设便不成立，例如“a bench for people to sit on”提到了 people，却并未声称图像中有人。我们将此类提及称为非断言性提及。将其视为幻觉会抬高使用此类语言的模型的错误率。为了将它们与真正的幻觉区分开，我们提出了 NAME-Bench（非断言性提及评估基准），包含五个 VLM 为 COCO 图像生成的标题中的 25,497 个物体提及。每个提及被标注为具体（已断言且存在）、幻觉（已断言且不存在）或非断言性，非断言性提及又进一步分为四个子类型：描绘性、目的性、否定和模糊限定。我们评估的所有幻觉检测器都将非断言性提及标记为幻觉，比例在 14% 到 80% 之间。将非断言性提及作为负样本加入检测器训练，在 LLaVA-1.5 上基本纠正了这一问题。在四个较新的 VLM 上，可比的纠正需要五到十倍的数据，且检测器随后捕获的真实幻觉更少。这些发现表明，当前检测器将提及物体与断言物体混为一谈，而这种混淆在四个较新的 VLM 上比在 LLaVA-1.5 上更难消除。因此，幻觉评估应将标题所断言的内容与其仅仅提及的内容区分开来。
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23610 [cs.CV] |
| （或 arXiv:2610.23610v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23610 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Neeraja Kirtane [查看电子邮件]
[v1]
2026年10月16日星期五 15:23:45 UTC（292 KB）
来源：arXiv cs.CL · arxiv.org