跳到正文
arXiv cs.CL· Sikun Xu, Raphael Thomadsen, Dennis J. Zhang, Heng Zhang·· 9 小时前AI 评分36

SOTA 还是运气?LLM 排行榜中的“赢家诅咒”

SOTA or Luck? The Winner's Curse in LLM Leaderboards

AI 导读

研究指出公开 LLM 排行榜上排名靠前的模型性能可能被系统性高估,这种“赢家诅咒”源于排名噪声基准分数时把采样运气也算作真实能力,并由此产生贯穿榜单的排名诱导偏差。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:公开的 LLM 排行榜指导模型评估与采用,然而排名靠前的模型所报告的性能可能被系统性地夸大。这种排行榜赢家诅咒之所以出现,是因为对含噪基准分数进行排名时,既奖励了真实的模型能力,也奖励了采样运气。同样的选择效应会在整个排行榜中扭曲分数,我们将这一现象称为排名诱导偏差。我们开发了一种 $m$-out-of-$N$ bootstrap 方法来校正这一偏差。该方法假设模型池固定,任务独立同分布且有界,同时允许模型之间存在任意的任务内相关性。在由正间隔分隔的精确总体层级下,我们证明该 bootstrap 将 $\Theta(N^{-1/2})$ 的排名偏差降低为期望残余偏差 $o(N^{-1/2})$。在来自 5 个基准家族的 14 个基准上,排名第 1 的调整幅度约为 0.09 至 3.86 个百分点。在我们的 SWE-bench Verified 快照中,并列领先者获得的调整为 0.90 个百分点。这种夸大程度足以使表面上的赢家在统计上变得脆弱。因此,我们使用同一 bootstrap 进一步量化每个模型可能的排名位置区间,并将模型分组为层级。我们建立了总体层级一致恢复的充分条件。在 SWE-bench Verified 上,该流程将 173 个模型中的 13 个置于领先层级。我们将分数调整和排名区间结合在排名不确定性与排行榜评估报告(RULER)中。我们使用样本拆分和校准模拟验证其有限样本性能,并倡导在发布原始排名的同时发布 RULER,以便读者能够评估所报告的性能以及排序的精确度。RULER 还为考虑选择效应和排名不确定性的基准设计提供了指导。
主题: 机器学习(cs.LG);计算与语言(cs.CL);方法论(stat.ME);机器学习(stat.ML)
引用为: arXiv:2611.22227 [cs.LG]
  (或此版本的 arXiv:2611.22227v1 [cs.LG])
  https://doi.org/10.48550/arXiv.2611.22227

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Sikun Xu [查看电子邮件]
[v1] 2026 年 11 月 17 日星期二 05:18:14 UTC(130 KB)

来源:arXiv cs.CL · arxiv.org