arXiv cs.AI· Nicolas Menet, Michael Hersche, Andreas Krause, Abbas Rahimi·· 11 小时前AI 评分33
测试驱动代码生成的理论分析：环境交互策略的概率框架与遗憾界
A Theoretical Analysis of Test-Driven Code Generation
AI 导读
研究为测试驱动代码生成提出概率框架，分析"先生成后按执行环境选择"与"基于环境反馈生成"两种范式。理论证明基于模糊功能相似性的估计器在信噪比上严格优于功能等价估计器，并将 backprompting 建模为 Thompson sampling 的上下文近似，推导出含不可观测成分奖励函数的新遗憾界，指出其效果受非正式任务描述歧义限制。
正文 · AI 翻译
摘要：代码助手在测试驱动软件开发中的应用日益广泛，但其环境交互策略背后的理论机制仍缺乏深入探讨。我们为两种主流范式提供了概率框架：生成后利用执行环境进行代码选择，以及基于环境反馈的条件代码生成。首先，我们将若干成熟的启发式选择方法形式化为代码正确性的环境感知估计器。我们从理论上证明，基于模糊函数相似性的估计器引入了归纳偏置，并在信噪比方面严格优于基于函数等价性的估计器。其次，我们将反向提示（backprompting）构建为 Thompson 采样的上下文内近似。我们为含有不可观测分量的奖励函数推导出一个新的遗憾界，从理论上解释了反向提示的有效性为何受限于非正式任务描述的模糊性（一种不可约遗憾）。我们使用七个最先进的开源权重模型，在 BigCodeBenchHard、LeetCodeDataset、QiskitHumanEvalSim 和 SWE-bench Verified 上验证了这些发现。我们的形式化还提出了如何有效改进任务描述，从而为 LLM 辅助量子编程带来了改进的基准 QiskitHumanEvalSimX。
| 评论： | 被 NeurIPS 2026 接收为 spotlight 论文 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2602.06098 [cs.SE] |
| （或本版本的 arXiv:2602.06098v4 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2602.06098 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Nicolas Menet [查看邮箱]
[v1]
2026年2月5日星期四 13:49:42 UTC（635 KB）
[v2]
2026年3月29日星期日 15:10:52 UTC（637 KB）
[v3]
2026年5月7日星期四 12:50:23 UTC（703 KB）
[v4]
2026年10月16日星期五 09:26:12 UTC（736 KB）
来源：arXiv cs.AI · arxiv.org