arXiv cs.AI· Morio Hamada, Jehyeok Yeon, Matteo Migliarini, Justin Olive, Magda Dubois·· 2 天前AI 评分30
基准饱和后如何评估模型能力：任务转录仍保留能力信号
Evaluating Model Capabilities After Benchmark Saturation
AI 导读
研究探讨基准分数饱和后能否用任务转录评估模型能力，通过历史基准与模型发布回溯模拟饱和场景，测试仅访问已饱和基准中正确解答转录的协议能否预测未饱和留出项上的能力。结果显示饱和转录仍保留超出基准准确率的能力信息，其中成对评判表现最佳，预测误差比仅用饱和基准分数的基线降低 5.3 倍，但预测能力在分布偏移下并不总能泛化，例如会低估 2025 年初首批推理模型的能力。
正文 · AI 翻译
摘要：AI 能力的快速进步正导致基准测试趋于饱和。一旦多个模型接近满分，基准测试就失去了区分它们的能力，也随之失去了为 AI 安全案例和前沿政策提供依据的效用。然而，基准测试题目所产生的信息远多于我们通常从中提取的分数：即每个模型如何解决任务的完整记录。我们研究这些记录能否在基准测试分数饱和之后仍用于评估模型能力。我们利用历史基准测试和模型发布来回顾性地模拟饱和，并测试仅访问饱和基准测试中正确解答记录的协议，能否预测在留出的、未饱和题目上测得的能力。我们评估了从模型记录中提取信息的代表性当代方法：成对评判、单记录绝对评分，以及基于确定性记录特征或嵌入的预测。我们发现，饱和记录保留了超出基准测试准确率的能力信息。在我们评估的协议中，成对评判表现最佳，与仅使用饱和基准测试分数的基线相比，将预测误差降低了 5.3 倍。这种与能力相关的信息分布在记录的各个部分，但集中在特定信息渠道中，例如推理和工具调用。然而，协议的预测能力并不总能泛化到分布变化——例如，会低估 2025 年初引入的首批推理模型的能力。因此，饱和基准测试在其任务记录中保留了预测能力的信号，但要延长现有基准测试的寿命，需要设计能够稳健提取这些信号的方法。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20667 [cs.AI] |
| （或 arXiv:2610.20667v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20667 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Jehyeok Yeon [查看电子邮件]
[v1]
2026年10月14日星期三 10:08:04 UTC（1,429 KB）
来源：arXiv cs.AI · arxiv.org