审计发现POPE基准Yes/No提取方式影响VLM幻觉评分
热点事件持续更新
审计发现POPE基准Yes/No提取方式影响VLM幻觉评分
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Kesav Kumar Jayakumar 与 Karthigeyan Thilak 发表对 POPE 基准的系统性审计，称在复现一项幻觉缓解结果时发现，视觉语言模型（VLM）的 Yes/No 读取方式本身就会改变 F1 分数。 以 LLaVA-1.5-7B 为例，仅比较词表 ID 3582（"yes"）与 1217（"no"）两个 token 的 logit 来读取答案，就足以造成 F1 变化，说明评测结论部分取决于答案提取方式而非模型能力。
AI 根据报道生成 · 57 分钟前更新
最新进展10月21日 12:00
Token-Set 选择混淆 POPE：VLM 幻觉评测中 Yes/No 提取的系统性审计报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- arXiv cs.CLToken-Set 选择混淆 POPE：VLM 幻觉评测中 Yes/No 提取的系统性审计
一项对 POPE 基准的复现审计发现，LLaVA-1.5-7B 的 Yes/No 读取方式会单独改变 F1：两 token logit 读取比较词表 ID 3582（"yes"）与 1217（"no"）。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。