arXiv cs.CL· Yifan Sun, Naicheng Yu, Jiawen Gong, Jingyan Shen, Huan Zhang·· 12 小时前AI 评分38
基准测试是对难度的经验测度：NeurIPS 2026 论文提出诊断指标与 BenchFill 方法
Your Benchmark Is an Empirical Measure Over Difficulty
AI 导读
一篇被 NeurIPS 2026 接收的论文提出将基准测试视为对难度的经验测度，并形式化了两类失效模式：测度错配（基准难度分布与目标难度分布不一致）和覆盖缺口（难度轴上未覆盖区域使基准无法检测局部训练进展）。
正文 · AI 翻译
摘要：基准测试不仅仅是测试题目的集合；它自然会诱导出一个关于难度的经验测度。在本工作中，我们发展了这种基于测度的基准评估视角。这一视角使我们能够识别并形式化两种核心失效模式：测度失配，即基准难度分布与预期难度分布不一致；以及覆盖缺口，即难度轴上未被覆盖的区域使基准无法检测到有意义的局部训练进展。我们提出了两个诊断指标来捕捉这两种失效模式，并提供了严格的理论保证。在实证方面，我们使用仔细估计的题目难度分析了横跨 7 个领域的 25 个流行基准。结果表明，许多基准隐式地过度加权某些难度区域，因此其排行榜结论应谨慎解读；另一些基准则使难度轴的相当一部分未被覆盖，限制了它们监测模型改进过程的能力。最后，我们将诊断转化为行动，提出了 BenchFill，一种简单的难度定向题目改写算法，能有效减少局部覆盖缺口。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29927 [cs.LG] |
| （或 arXiv:2610.29927v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29927 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yifan Sun [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 16:02:37 UTC（966 KB）
来源：arXiv cs.CL · arxiv.org