arXiv cs.CL· Jungsoo Park, Ethan Mendes, Gabriel Stanovsky, Alan Ritter·· 3 天前AI 评分24
语言模型的预期评估：从任务描述预测 LLM Benchmark 分数
Anticipatory Evaluation of Language Models: Predicting LLM Benchmark Scores from Descriptions
AI 导读
研究者提出"预期评估"（anticipatory evaluation）设定，并发布 EVALCAST——一个包含 1,519 篇 arXiv 论文中 2,290 组描述-性能配对的数据资源，测试集包含模型知识截止后发表的论文。实验显示，前沿 LLM 通过回归预测绝对性能仍具挑战，而配对预测在匹配设定下可恢复相对性能排序；在截止后与流式评估上的表现相当，表明该信号并非仅来自已报道结果。
正文 · AI 翻译
摘要：现代机器学习研究日益面临评估瓶颈：构建基准和运行实验成本高昂，拖慢了迭代速度。我们探究在实验之前，仅给定任务和设置的自然语言描述，能对评估结果推断出多少信息。我们将这一设定称为预期性评估。我们提出 EVALCAST，一个基于文献构建的资源，包含来自 1,519 篇 arXiv 论文的 2,290 个描述-性能对，其中包括一组发表于模型知识截止日期之后的论文测试集。我们评估两项任务：通过回归预测绝对性能，以及通过成对预测比较基准难度。对前沿大语言模型的实验表明，准确的回归仍然具有挑战性，而成对预测在匹配设置下能够恢复相对性能排序。在截止日期之后和流式评估上表现相当，表明所观察到的信号并非仅归因于此前已报告的结果。总体而言，EVALCAST 为研究预期性评估及其在基准优先级排序中的潜在用途提供了一个资源和评估框架。
| 评论： | 29 页，6 张图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2509.20645 [cs.CL] |
| （或 arXiv:2509.20645v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2509.20645 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Jungsoo Park [查看邮箱]
[v1]
2025 年 9 月 25 日星期四 01:02:27 UTC（906 KB）
[v2]
2025 年 12 月 1 日星期一 20:11:55 UTC（1,050 KB）
[v3]
2026 年 2 月 4 日星期三 16:21:49 UTC（1,491 KB）
[v4]
2026 年 10 月 13 日星期二 18:26:56 UTC（962 KB）
来源：arXiv cs.CL · arxiv.org