arXiv cs.AI· Yongxi Zhou, Lai Yun Choi, Jiaxi Wen, Wenbo Ye, Junwei Yao·· 3 天前AI 评分26
重复运行能带来多少收益？LLM 代码评测的实测方差上限
How Much Can Repeated Running Buy? A Measured Variance Ceiling for LLM Code Evaluation
AI 导读
研究用 16 个模型、99 道 LeetCode 风格题目、每题 2 个提示词各跑 5 次（共 15,840 次评判运行），拆解 LLM 代码评测分数的方差来源。
正文 · AI 翻译
摘要：基准分数是一种测量，其不确定性有两个来源：来自随机解码的偶然成分，以及来自有限问题集的认识成分。我们在 99 道近期 LeetCode 风格问题上使用 16 个模型，每个问题采用两个提示、每个提示运行五次（完全交叉设计中 15,840 次经评判的运行），估计这两个成分并提出一个设计问题：重复运行能带来多少收益？第一，重复运行协议所招致的合并二项区间既不能回答两个感兴趣的问题中的任何一个——对于推广到新问题而言它窄了约 $2\times$，对于固定问题集而言它宽了约 $2\times$——并且在正确聚类的区间下，15 对相邻排行榜配对中有 12 对在统计上无法区分。第二，方差上限 $1+\mu_w/\sigma_b^2$，即重复能将分数方差降低的最大倍数，在各模型中的中位数为 1.34（范围 1.05--1.71），因此在该基准上重复最多能将置信区间收窄 23%，对中位数模型则为 14%。第三，一旦将增加已验证问题的成本计入，精度最优的重复次数为 $R^{*}=\sqrt{\mu_w c_p/(\sigma_b^2 c_g)}$，且方差曲线在其附近是平坦的：在该基准上，重复的决定性理由不是精度而是识别——两到三次运行就足以估计上限和固定基准区间所需的成分。三者都是对同一基准、同一解码温度下的测量，我们明确说明它们允许和不允许得出什么结论。
| 评论： | 17 页，4 幅图，11 张表。相较 v1 大幅修订并更改标题；将原始重复运行评估数据重新表述为方差分解，并扩展了统计验证和实验细节。数据与代码：此 https URL。被 NeurIPS 2026 可验证编码人工智能研讨会（VeriCodeGen）接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2606.00920 [cs.LG] |
| （或 arXiv:2606.00920v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.00920 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Yongxi Zhou [查看电子邮件]
[v1]
2026 年 5 月 30 日星期六 23:03:05 UTC（755 KB）
[v2]
2026 年 10 月 10 日星期六 05:30:50 UTC（283 KB）
来源：arXiv cs.AI · arxiv.org