arXiv cs.CL· Ahmad Jarjis Hasan, Jonathan Lwowski·· 10 小时前AI 评分58
同输出不同分数：审计多模态 LLM 基准中未经检验的评分器
Same Outputs, Different Scores: Auditing the Unchecked Graders of Multimodal LLM Benchmarks
AI 导读
研究复现了八个同行评审多模态 LLM 基准的官方评分器，在五个可装入单张 16 GB GPU 的开源视觉语言模型上测试，发现仅评分规则本身就能让相同输出的准确率相差最多 22 个百分点。
正文 · AI 翻译
摘要：每个多模态大语言模型多项选择基准测试最终都依赖一条评分规则，将模型的回答（往往是自由文本而非规范选项字母）转换为正确/错误的判定，而这条规则埋没在其代码中。与数据集不同，这条规则的选择没有依据，也从未被审视，但它却决定了最终发表的数字。我们在五个可装入单块 16 GB GPU 的开放视觉语言模型（VLM）上复现了八个同行评审基准的官方评分器，并引入了一种盲测的人与 LLM 评判联合裁决机制（Cohen's kappa=0.956），以还原模型实际回答的内容。在相同输出上，仅评分规则一项就能使准确率变动高达 22 个百分点，然而当模型输出规范的选项字母时，这一影响恰好为零，因此它在强模型排行榜上被掩盖了。造成损害的是回退机制而非冗长输出：我们测得不合规率最高的基准，其伪影恰好为零，因为其评分器选择弃权而非猜测；一个不合规率为 0.000 的推理模型，其解析器保留其推理轨迹中哪一处正则匹配，仍能带来 9.5 个百分点的波动。没有标准规则是可靠的：将非答案吸附到最接近的选项，会为从未给出的答案记分，却埋没正确的答案；弃权会丢弃以文字表述的答案；似然评分则遵循答案 token 的先验，因此单一评分将能力与运气混为一谈，而非衡量其中任何一项。我们公开所有代码、标签和协议，并主张基准测试应报告不合规率以及至少两种规则，而非一个未经审视的评分。
| 评论： | 已被 WACV 2027（评估与数据集 Track）接收。代码与数据：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2611.03377 [cs.AI] |
| （或 arXiv:2611.03377v1 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.03377 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jonathan Lwowski [查看邮箱]
[v1]
2026 年 11 月 2 日星期一 16:20:07 UTC（312 KB）
来源：arXiv cs.CL · arxiv.org