arXiv cs.AI· Allison Chen, William Yang, Salma Abdel Magid, Jonathan Williams, Olga Russakovsky, Esin Tureci·· 11 小时前AI 评分31
视觉语言模型幻觉检测内部信号的鲁棒性分析
Robustness of Internal Signals for Hallucination Detection in Vision-Language Models
AI 导读
研究深入分析了利用视觉语言模型（VLM）内部信号检测幻觉的方法的鲁棒性，发现仅用生成词的 token 位置这一朴素基线即可达到有竞争力的检测性能，部分方法实际依赖 token 位置作为捷径。实验表明强检测性能多由语言类幻觉驱动，依赖 token 位置的方法视觉根基更弱，幻觉出现在文本响应较早位置时鲁棒性下降。不同检测方法携带互补信号，将较弱方法加入高性能方法集成仍能带来性能提升。
正文 · AI 翻译
摘要：给定一张图像和一段文本提示，视觉语言模型（VLM）能够生成看似精妙的文本回复。然而，它们也容易在输出中虚构物体，这在安全关键型应用中可能造成有害后果。为了检测这些虚构内容，某些方法颇为有趣地利用了 VLM 在生成文本回复时的内部信号；这些方法有可能使用的正是导致虚构的同一批信号来检测虚构。我们进行了深入分析，以理解这些检测方法的鲁棒性。首先，我们表明，一个简单的基线——即生成词在 VLM 文本回复中的 token 位置——就能达到有竞争力的性能。此外，我们揭示了一些检测方法如何依赖 token 位置，并将这一启发式特征当作捷径。其次，我们探究了检测方法对语言和视觉模态的敏感性。我们的实验表明，较强的检测性能往往源于对基于语言的虚构的检测；而当方法依赖 token 位置时，它们往往视觉根基较弱，并且在虚构出现在文本回复较早位置时表现出鲁棒性下降。最后，我们证明不同的检测方法可以携带互补信号；当将多种方法集成在一起时，把较弱的方法加入由性能较高方法组成的集成中，仍能带来性能提升。总而言之，虽然可能存在有用的 VLM 内部信号可用于检测虚构，但我们的调查揭示了当前试图利用这些信号的方法的重要局限性。
| 评论： | NeurIPS 2026 评估与数据集 track |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27041 [cs.CV] |
| （或 arXiv:2610.27041v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27041 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Allison Chen [查看邮箱]
[v1]
2026年10月19日星期一 17:34:35 UTC（3,330 KB）
来源：arXiv cs.AI · arxiv.org