arXiv cs.AI· Yonatan Gideoni, Sebastian Risi, Yarin Gal·· 3 天前AI 评分40
简单基线在代码进化任务上与复杂流水线打平
Simple Baselines are Competitive with Code Evolution
AI 导读
研究提出两个简单基线，在数学边界搜索、智能体脚手架设计、启发式组合优化算法和机器学习竞赛等任务上与流行代码进化流水线对比，结果基线在所有领域均持平或更优。数学边界任务中，搜索空间比搜索算法更关键，扩大搜索空间可提升所有流水线表现；提示词中的领域知识会显著影响搜索效率，可能高估流水线的样本效率。
正文 · AI 翻译
摘要：代码演化是一类依赖大语言模型、通过演化现有代码来搜索可能计算机程序的技术。虽然代码演化流水线已在多个领域展现出令人瞩目的性能，但许多流水线高度复杂，且通常未与更简单的替代方案进行比较。为防止不当比较阻碍该领域发展，我们提出了两个简单基线，并在多个领域将其与流行流水线进行比较：寻找更优的数学界、设计智能体脚手架、开发启发式组合优化算法以及机器学习竞赛。令人惊讶的是，这些基线在所有领域都达到或超越了现有方法，促使我们进一步审视在不同情境下哪些因素驱动了性能。对于数学界，我们发现搜索空间远比确切的搜索算法重要，在相同搜索空间下，简单方法和复杂方法表现相似。因此，扩大搜索空间才是提升性能的关键，并且对所有流水线都有效。此外，提示中嵌入的不同领域知识会显著影响搜索效率，可能导致高估流水线的样本效率。对于自动化智能体脚手架设计，我们表明典型的高方差评估会导致所有自动化搜索方法相对于简单多数投票选出次优脚手架。为缓解这一问题，我们提出了改进的评估程序，在保持搜索经济可行的同时降低随机性。总体而言，这些结果表明，进一步提升代码演化的性能更多取决于搜索流水线周边的设置，而非流水线本身。我们希望这些洞见能够促进新的代码演化方法的开发，并推动该领域取得有意义的进展。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2602.16805 [cs.AI] |
| （或使用 arXiv:2602.16805v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2602.16805 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Yonatan Gideoni [查看邮箱]
[v1]
2026年2月18日星期三 19:07:22 UTC（2,596 KB）
[v2]
2026年10月12日星期一 15:28:24 UTC（2,488 KB）
来源：arXiv cs.AI · arxiv.org