arXiv cs.AI· Jiaxin Fang, Runyuan He, Arnav Gupta, Sahil Kumawat, Huanzhi Mao, Alvin Cheung·· 3 天前AI 评分34
CodeWalk：通过遍历问题图生成编程基准
CodeWalk: Generating Coding Benchmarks by Walking a Problem Graph
AI 导读
CodeWalk 提出将已验证的原子编程问题组合成 level-N 任务来生成编程基准，整个构建过程程序化，无需语言模型生成或验证。
正文 · AI 翻译
摘要：高质量的编程问题收集成本高昂。SWE-bench 等基准依赖大量人工整理，而合成替代方案通常依赖昂贵的模型生成与验证。在这项工作中，我们表明可以通过组合现有问题以几乎零成本创建新的编程问题。我们将问题生成形式化为代码组合：将经过验证的原子问题组合成第 $N$ 级任务，只有当每个原子问题仍未被解决、且联合参考解决方案通过评估时所用的同一检查时，才保留该任务。整个任务构建过程是程序化的，无需语言模型生成或验证。我们在四种编程场景中实例化了该方法：多缺陷修复、证明补全、复杂度分析和克隆等价。生成的任务对前沿模型具有挑战性，随着组合深度增加，所有模型的表现都会下降。生成的任务还可作为训练数据：对其做拒绝采样微调可在每个组合层级上提升 Qwen3.5-9B。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.15345 [cs.LG] |
| （或 arXiv:2610.15345v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15345 由 DataCite 颁发 arXiv DOI（待注册） |
提交历史
来自：Jiaxin Fang [查看邮箱]
[v1]
2026年10月11日星期日 04:57:00 UTC（251 KB）
来源：arXiv cs.AI · arxiv.org