arXiv cs.CL· Sam Bowyer, Acyr Locatelli, Kris Cao·· 11 小时前AI 评分22
高效基准测试即特征选择与多元回归：用核岭回归和 mRMR 改进 LLM 评测
Efficient Benchmarking Is Just Feature Selection and Multiple Regression
AI 导读
研究者将高效基准测试重构为带特征选择的多元回归问题，仅需在预测阶段改用核岭回归（kernel ridge regression）即可显著改进现有方法。配合最小冗余最大相关（mRMR）算法挑选题目子集，可在多种基准的二元与连续指标上稳定降低 MAE 和 RMSE，并提升 Spearman ρ 与 Kendall τ 排序相关性。
正文 · AI 翻译
摘要：高效基准测试技术旨在通过仅使用基准测试问题的一个子集来预测完整基准分数，从而降低评估 LLM 的计算成本。通过将这一问题重新表述为带特征选择的多重回归问题，我们发现，只需在预测阶段使用核岭回归，就能大幅改进现有的高效基准测试方法。此外，使用一种名为最小冗余最大相关性（mRMR）的信息论特征选择算法，我们可以通过选择对预测最有用的问题子集来进一步改进这些方法。除非在数据非常匮乏的情况下，这些方法在使用二元和连续指标的多个基准测试上，始终能实现更小的预测误差（在 MAE 和 RMSE 两方面），以及预测分数与真实分数之间更高的排序相关性（在 Spearman $\rho$ 和 Kendall $\tau$ 两方面）。此外，mRMR 子采样比竞争方法（通常涉及拟合概率模型或运行聚类算法）快得多，并且更有可能在不同的随机种子或训练数据划分下选择相同的问题。教程代码可在 此 https URL 找到。
| 评论： | 43 页，27 幅图，10 张表 |
| 主题： | 机器学习（stat.ML）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.25773 [stat.ML] |
| （或 arXiv:2605.25773v3 [stat.ML] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.25773 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Sam Bowyer [查看电子邮件]
[v1]
2026 年 5 月 25 日星期一 12:23:31 UTC（1,119 KB）
[v2]
2026 年 5 月 29 日星期五 17:41:55 UTC（1,119 KB）
[v3]
2026 年 10 月 23 日星期五 14:20:42 UTC（1,130 KB）
来源：arXiv cs.CL · arxiv.org