arXiv cs.CL· Jhen-Ke Lin, Hong-Yun Lin·· 10 小时前AI 评分26
Balance of Benchmarks(BoB):兼顾证据保留与多重性的模型基准对比方法
Balance of Benchmarks: Evidence Retention and Multiplicity-Aware Model Comparison
AI 导读
研究者提出 Balance of Benchmarks(BoB),在保留更多基准观测的同时单独控制各基准的影响力:为每个基准拟合响应曲线以统一到共享能力尺度,并按描述相似度对密集邻域内的基准降权。
正文 · AI 翻译
摘要:基准聚合需要决定使用多少证据以及每个基准获得多大影响。精选套件通过选择来控制影响,这可能排除有信息量的观测。更广泛的池可以保留这些观测。在等权重下,重复或密切相关的基准会随着数量增长而获得更大影响。我们引入基准平衡(Balance of Benchmarks,BoB),以保留合格观测并单独控制其影响。我们拟合基准特定的响应曲线,将不同难度范围置于共享能力量表上,并使用描述相似度降低拥挤邻域中基准的权重。我们在 WildScores(一个由 148 个开发者报告的基准组成的稀疏集合)上分别进行保留和密度加权的干预测试,并使用 14 个 Artificial Analysis 基准作为受控参考。在模型群体固定且整个源谱系家族被留出的情况下,套件扩展在 BoB 和等权等值化下均改善了 WildScores 和 BIG-bench 上的留出预测。在大量报告重叠的情况下,密度加权提高了对多重性的稳健性。完整重新列表在 BoB 下产生更小的平均排名位移(0.63 对等权等值化的 1.95),在改写重新列表和支持的仿射拟合中也有收益。如果模型报告不同的基准,这种收益可能反转,因为每列单一权重会使只报告一组中部分基准的模型获得低于其应得份额的权重。因此,我们根据每个模型所报告的基准计算其权重。该规则消除了受控重新列表中的反转,并使留出预测接近等权重。这些比较区分了证据保留、基准影响和报告覆盖,并说明了为什么重复条目需要按模型处理。
| 评论: | 40 页。对证据保留和按模型加权的修订分析。包含附录细节和 WildScores 数据 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL);机器学习(cs.LG) |
| 引用为: | arXiv:2608.30044 [cs.AI] |
| (或此版本的 arXiv:2608.30044v4 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2608.30044 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Jhen-Ke Lin [查看电子邮件]
[v1]
2026 年 8 月 30 日星期日 21:06:29 UTC(379 KB)
[v2]
2026 年 9 月 4 日星期五 19:47:26 UTC(291 KB)
[v3]
2026 年 9 月 17 日星期四 20:00:57 UTC(369 KB)
[v4]
2026 年 11 月 19 日星期四 16:51:40 UTC(3,677 KB)
来源:arXiv cs.CL · arxiv.org