arXiv cs.CL· Haoyi Yang, Kshitij Mishra, Nils Lukas, Salem Lahlou·· 2 天前AI 评分24
HeirCommit 与 EvoHeir：自进化语言模型如何选择继承哪一代模型
Selection Is Not Learning: Choosing Model Futures
AI 导读
针对 R-Zero、Agent0、Skill Self-Play 等自进化循环中"任务看似可学却未必带来有效更新"的选择-更新缺口，HeirCommit 冻结更新后的模型并用全新评测题决定是否继承，在相同接受率下将有害更新占比相对随机继承降低 68-83%。EvoHeir 进一步分离参数继承与经验继承，在四个骨干模型上取得最佳数学与通用推理均值，数学均值较最强基线 Agent0 提升 5.3%。
正文 · AI 翻译
摘要：自演化语言模型在自身生成的任务上训练，因此每一轮都必须决定下一轮继承哪个更新后的模型。当前的循环，如 R-Zero、Agent0 和 Skill Self-Play，通过任务做出这一决定，接纳看起来可学习的任务，并继承由此产生的每一次更新。我们发现了这些循环中的选择到更新差距，即一个看起来可学习的任务未必能产生有用的更新。在已验证任务上的大多数更新未能使正确答案更可能出现，但这些循环却全部继承了它们。HeirCommit 冻结更新后的模型，并使用全新的评估问题来决定是继承它还是保留当前模型。EvoHeir 将参数继承与经验继承分离，利用当前经验和归档经验来修复失败并保留成功，然后再进行最终确认。我们的分析刻画了选择诱导的乐观偏差，并将遗憾分解为选择误差、吸收误差和确认误差。在相同接受率下，HeirCommit 将有害的已接受更新占比相对于随机继承降低了 68-83%。在四个骨干模型上，EvoHeir 取得了最佳的数学和通用推理平均成绩，相对于最强基线 Agent0 将数学平均成绩提高了 5.3%。该框架让有用的经验得以保留，即使产生它的模型未被继承。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22029 [cs.LG] |
| （或使用 arXiv:2610.22029v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.22029 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Haoyi Yang [查看邮箱]
[v1]
2026年10月15日星期四 15:07:09 UTC（298 KB）
来源：arXiv cs.CL · arxiv.org