arXiv cs.CL· George Ling, Shanshan Zhong, Lijin Yang, Hao Yang, Nanxiang Li, Zhongzhan Huang·· 10 小时前AI 评分31
BestRand：通过随机采样实现稳定低成本基准压缩
Random Is Almost Enough? Stable and Low-Cost Benchmark Compression via BestRand
AI 导读
BestRand 是一种稳定且低成本的基准压缩方法，在 70+ 文本、多模态和智能体基准上验证，将高误差风险降低 50.2%、估计误差平均降低 16.4%，构建成本仅为对比方法的 51.3%。
正文 · AI 翻译
摘要：基准压缩通过在一小部分与全基准结果高度吻合的基准子集上评估模型，从而减少模型评估中往往高昂到难以承受的时间与成本。为了量化估计误差，我们推导出一个精确的解析近似，用于描述从子集估计全基准分数时的误差分布，结果表明大多数子集产生的误差较小，而少数子集会产生大得多的误差，从而形成长尾分布。这意味着仅靠随机采样就能以较高概率取得出奇强劲的性能，但由于罕见的大误差而仍然不稳定。我们进一步表明，这种不稳定性是现代基础模型所固有的，即使评估更多模型也依然存在。基于这些发现，我们提出 BestRand，一种稳定且低成本的基准压缩方法，它保留了随机采样的效率，同时大幅削减其高误差尾部。我们在 70 多个文本、多模态和智能体基准上验证了 BestRand，并进一步将其扩展到 VLA 评估。与有竞争力的方法相比，BestRand 将高误差风险降低 50.2%，将估计误差平均降低 16.4%，而构建成本仅需 51.3%。它还在分数范围、模型家族和时间偏移上平均将 OOD 估计误差降低 21.8%。总之，我们的理论为理解和预测基准压缩的准确性与可靠性提供了实用指导，而 BestRand 能够以低成本实现稳定而准确的压缩。代码和数据已在 https://github.com/George-Ling3/BestRand 公开。
| 评论： | 预印本 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.00883 [cs.CL] |
| （或 arXiv:2611.00883v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00883 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhongzhan Huang [查看邮箱]
[v1]
2026 年 10 月 31 日星期六 12:36:58 UTC（6,175 KB）
来源：arXiv cs.CL · arxiv.org