arXiv cs.CL· Qiaoyuan Zheng, Yiqu Yang·· 9 天前AI 评分29
近乎持平的 LLM 排名对 Family-DIF 引导的基准重组是否稳健？
Are Near-Tied LLM Rankings Robust to Family-DIF-Guided Benchmark Recomposition?
AI 导读
研究用五个基准的题目级回答和一种无需家族标签的谱近似 MIRT 方法检验：在 owner-disjoint 折中，用一半数据筛出跨模型家族低残差 DIF 的题目，再以冻结权重为另一半模型打分。
正文 · AI 翻译
摘要：排行榜上的微小差距常被解读为某个语言模型优于另一个的证据，但其符号可能取决于纳入了哪些基准测试项目。我们使用来自五个基准测试的项目级响应，以及一种无需家族标签的谱近似方法对多维项目反应理论（MIRT）进行检验。在所有者互斥的折中，一个所有者半区识别出跨模型家族残差差异项目功能较低的项目（低 DIF）。这些项目被用于以冻结权重为另一半区中的模型评分，这些权重在元数据定义的項目组和难度分层间保持基准测试的构成。同样短的匹配随机子测试为项目子采样带来的变异提供了基线。完整基准测试与低 DIF 排名仍高度相关（$\tau_b=.900$--$.948$）。然而在五个基准测试中的四个里，最初相差一个百分点以内的跨家族配对中有 30.9--47.1\% 发生顺序反转，超出其匹配随机中位数 16.9--28.6 个百分点（所有 $p=.001$）。第五个基准测试未显示出可靠的超额（$-0.9$ 个百分点，$p=.689$）。该模式在所有预先指定的总体扰动下依然存在，且残差项目--家族特征在所有者半区间可复现；然而，没有任何家族在跨基准测试中表现出一致优势。因此，全局稳定的排名仍可能使个别接近平局的排序对基准测试构成敏感，低于一个百分点的排行榜差距应附有证据，表明所隐含的排序对构成具有稳健性。
| 评论： | 已被 NeurIPS 2026 TAE Workshop 接收；网站：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.00482 [cs.CL] |
| （或 arXiv:2609.00482v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.00482 arXiv 通过 DataCite 颁发的 DOI |
提交历史
来自：Yiqu Yang [查看邮箱]
[v1]
2026年8月31日星期一 23:29:50 UTC（168 KB）
[v2]
2026年10月7日星期三 23:17:37 UTC（354 KB）
来源：arXiv cs.CL · arxiv.org