arXiv cs.CL· Shanglin Yang, Zhan Shi·· 10 小时前AI 评分34
研究揭示：短预算 LLM 引导优化中父代继承才是主要增益来源
Lineage Is Memory: Parent Inheritance and Feedback Disclosure in Short-Budget LLM-Guided Optimization
AI 导读
一项覆盖 9 个提示词与程序合成基准、1,750 次预注册实验的研究发现，贪心式父代继承贡献了 LLM 引导优化的大部分进展，即使 seed-reset 重采样每轮获得全部失败的聚类摘要或使用更大的 proposer 模型也无法超越。
正文 · AI 翻译
摘要：迭代式语言模型优化器通过评估候选方案、向提议模型展示失败案例样本，并保留能提升性能的修订，来改进提示词和程序。近期研究将这一循环的局限归因于单轮反思范围过窄，于是引入全量错误聚类、定向小批量或更大的提议模型，使优化器在每一步看到更多失败模式。然而，现有评估都只在保留谱系的搜索中检验这些机制，即每次修订都编辑一个存活的父代，从而使父代继承的贡献与每轮反馈的广度混杂在一起。在覆盖九个提示词与程序合成基准的 1,750 次预注册运行中，我们在匹配的评估预算下将父代继承与反馈披露分离。我们发现，贪心父代继承驱动了绝大部分优化进展，即使种子重置提议在每一轮都收到所有失败的聚类摘要，或使用更大的提议模型，其表现仍不及贪心父代继承。虽然全量错误聚类和多样化失败选择能改善从种子出发的单步重写，并加速搜索的开局轮次，但随着已解决的错误模式被保留在候选中并从后续失败列表中过滤掉，顺序父代继承会迅速弥合这一差距。此外，分解 GEPA 中的 token 开销表明，提议模型反思仅占总成本的一小部分，而验证和小批量门控几乎消耗了全部预算，这说明基于原始失败的贪心父代继承以极小的计算量获得了复杂反思循环的收益。
| 评论： | 17 页，2 幅图，10 张表。代码、预注册信息和 1,750 次运行日志见 此 https URL |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41157 [cs.SE] |
| （或 arXiv:2610.41157v1 [cs.SE] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.41157 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhan Shi [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 02:31:45 UTC（215 KB）
来源：arXiv cs.CL · arxiv.org