研究：多模态LLM基准评分规则可致准确率差22个百分点

Ahmad Jarjis Hasan 与 Jonathan Lwowski 发表论文，复现八个同行评审多模态 LLM 基准的官方评分器，在五个可装入单张 16 GB GPU 的开源视觉语言模型上测试，发现仅评分规则本身就能让相同输出的准确率相差最多 22 个百分点。 研究还引入盲审的人与 LLM 评判员裁决（Cohen's kappa=0.956），用于还原模型实际作答内容。该结果指向基准评分器本身未经检验的问题。

AI 根据报道生成 · 44 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。