arXiv cs.CL· Kesav Kumar Jayakumar, Karthigeyan Thilak·· 11 小时前AI 评分32
Token-Set 选择混淆 POPE：VLM 幻觉评测中 Yes/No 提取的系统性审计
Token-Set Choice Confounds POPE: A Systematic Audit of Yes/No Extraction in VLM Hallucination Evaluation
AI 导读
一项对 POPE 基准的复现审计发现，LLaVA-1.5-7B 的 Yes/No 读取方式会单独改变 F1：两 token logit 读取比较词表 ID 3582（"yes"）与 1217（"no"）。
正文 · AI 翻译
摘要：我们着手在 POPE 基准上复现一项近期关于幻觉缓解的结果。我们测得的 LLaVA-1.5-7B 基线在对抗性划分上的 F1 为 82.21，比我们计划对比的对抗性基线（81.00、79.30 和 73.54）高出 1.21 至 8.67 分。我们检查了评估代码，发现一个仅凭自身就能改变 F1 的读出选择。双 token logit 读出通过比较两个词表 ID——3582（“yes”）和 1217（“no”）——来决定是或否。在覆盖全部三个划分的 9,000 个贪心解码问题中，这两个 ID 一次都没有被生成。模型输出的是“ Yes”（token 3869）和“ No”（token 1939），因为 SentencePiece 在提示后缀“ASSISTANT:”之后会前置一个空格字节。使用覆盖带空格前缀表面形式的八 token 查找来读取，LLaVA-1.5-7B 在对抗性、流行和随机划分上的 F1 分别为 0.8221、0.8498 和 0.8713。这 6.13 分的对抗性偏移超过了我们调查的六篇论文中五篇所报告的对抗性增益。它们均未说明其读出方式，而我们的参考运行在 4-bit NF4 量化下，因此我们无法说明在匹配评估下任何已报告的增益还能保留多少。在读出和精度匹配之前，这一比较仍无定论。在固定基线上，我们运行了九种自己的推理时校正（均未胜过基线），并剖析了对抗性划分为何抵抗 logit 层面的干预。在一项 3,000 问题的探测中，错误预测比正确预测吸引更多图像注意力（Cohen's $d=-0.46$，$p=1.4\times10^{-24}$），这与基于接地的校正所假设的相反。对来自三个分词器家族的另外四个 VLM 进行的四读出审计证实，这一混杂因素是协议层面的，而非模型特有的：逐字移植 LLaVA-1.5 的 ID 会使两个词表不相交的模型的 F1 降至 0.00，而由分词器推导的读出则保持在 0.80 至 0.92 之间。
| 评论： | NeurIPS 2026 VLM4RWD Workshop。21 页，10 张图。代码：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.25964 [cs.CV] |
| （或 arXiv:2610.25964v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.25964 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kesav Kumar Jayakumar [查看电子邮件]
[v1]
2026 年 10 月 19 日星期一 07:58:14 UTC（839 KB）
[v2]
2026 年 10 月 20 日星期二 04:43:52 UTC（839 KB）
来源：arXiv cs.CL · arxiv.org