arXiv cs.AI· Yezhou Cheng, Runjia Du, Zeming Liu, Qibai Chen, Hang Lyu, Yilan Wei, Yankai Zeng, Bojun Lin·· 10 小时前AI 评分31
固定预算下窄置信区间的 LLM 评测框架
Cost-Efficient LLM Evaluation: A Framework for Narrow Confidence Intervals Under Fixed Budgets
AI 导读
研究者提出一个在固定评测预算下分配任务与重复运行的框架,利用同一任务多次运行间的不一致来约束估计误差,从而在相同置信水平下获得更窄的置信区间。该框架在任务与重复预算增长时达到理论最优的收窄速率,并给出全覆盖与可跳过任务两种情形下的匹配下界。
正文 · AI 翻译
摘要:大语言模型(LLM)在学术研究和工业界中扮演着越来越重要的角色。可靠的评估有助于研究人员了解模型能力,并在模型开发过程中评估进展。然而,评估可能成本高昂,研究人员往往需要在固定预算内评估性能。由于模型输出在不同运行之间可能有所差异,这一预算必须在测试不同任务与重复选定任务之间进行分配。置信区间量化了所得性能估计中的不确定性。在相同置信水平和评估成本下获得更窄的区间,可以对模型性能作出更精确的评估,帮助研究人员从有限的观测中得出更清晰的结论。我们提出了一个框架,将固定的评估预算分配到任务和重复运行上,无论是否覆盖全部任务。该框架随后利用同一任务上不同运行之间的分歧来界定估计误差,当采样的重复运行显示出较小变异性时,可在相同置信水平下获得更窄的置信区间。当每个任务上的重复运行产生相同结果时,我们证明,随着任务数量和重复预算的增长,在最坏情况下,我们的框架达到了理论上可能的、缩小置信区间的最快速率。我们分别在必须覆盖每个任务以及可以跳过任务的情况下建立了匹配的下界,即使对于利用先前结果来决定下一步执行哪次运行的评估者也是如此。在 LiveCodeBench 上,在 16 种模型配置中有 15 种,我们的框架平均而言比均匀随机采样得到更窄的置信区间;在相同置信水平和每个配置 1,100 个输出的相同预算下,宽度中位数减少了 30.6%。
| 学科: | 人工智能(cs.AI);信息论(cs.IT) |
| 引用为: | arXiv:2609.29140 [cs.AI] |
| (或本版本的 arXiv:2609.29140v2 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2609.29140 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Yezhou Cheng [查看邮箱]
[v1]
2026年9月24日星期四 07:15:07 UTC(157 KB)
[v2]
2026年11月18日星期三 01:01:30 UTC(55 KB)
来源:arXiv cs.AI · arxiv.org