arXiv cs.AI· Sebastian Bobadilla-Suarez, Bob Suh, Ryan Fortin·· 1 天前AI 评分32
审计脚手架而非检查点：智能体编程递归自我改进的平稳性二分法
Audit the Scaffold, Not the Checkpoint: A Stationarity Dichotomy for Recursive Self-Improvement in Agentic Coding
AI 导读
针对 AI 编程智能体的自我改进，研究提出审计重点应从模型权重转向其工具、测试与任务拆解构成的脚手架，因为脚手架可被重写而模型保持冻结。在公开编程基准上，每轮额外修订的收益趋近于零；来自同一模型族的 30 个智能体出现共同失败，多数投票在 55 个任务中有 23 个（42%）失败。研究强调证据为描述性，尚未运行所提出的验证实验。
正文 · AI 翻译
摘要：关于 AI 自我改进的规则往往聚焦于模型本身：它是否被重新训练过，或者其权重是否被冻结？我们认为，对于 AI 编程智能体而言，这种检查并不完整，并提出了（但未实际运行）用于检验这一点的实验。一个不断修改自身工作的智能体，只要其可触及的改动集合保持固定，就会遭遇收益递减，并且只有在该集合扩大时才能摆脱这种局面。我们的假设是：该集合可以在模型保持不变的情况下扩大，因为模型周围的软件——即由工具、测试和任务分解构成的脚手架——可以被重写。若果真如此，冻结的模型最终会保证一个上限，但在到达上限的过程中并不能保证稳定的行为，因此审计应当跟踪脚手架的变化，而不仅仅是模型的变化。同一标准区分了常被混为一谈的三件事：在固定设置内进行更多搜索、在使用过程中重新训练模型（这可能提高上限），以及重写脚手架（介于两者之间）。增加更多智能体并不会抬高上限。从多个智能体的答案中挑选最佳者，恰好能达到最佳单个智能体的上限，只是更快到达而已。多数投票可能做得更好，但前提是各智能体在不同的任务上失败。在我们的测试中，来自同一模型家族的 30 个智能体一起失败：某些任务击败了它们全部，而多数投票在 23/55（42%）的任务上失败。我们的证据是描述性的。在一个公开的编程基准上，每一轮额外修订带来的增益趋近于零，不过可供测量的未解决任务也更少、更难。在 401 个开发会话中，代码改动量从一次提交到下一次提交逐渐下降，但在 AI 工具出现之前工作的程序员也表现出同样的模式，因此数据表明当前实践会趋于平缓，却未说明原因。我们通过将反复修订视为一种已知的机器学习方法——提升（boosting）——来得出该标准，并指出真实智能体在哪些方面偏离了它。
| 评论： | 正文 10 页，全文 47 页，9 幅图，5 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；软件工程（cs.SE） |
| MSC 分类号： | 68T05, 68Q32, 68N30 |
| ACM 分类号： | I.2.6; I.2.2; D.2.5 |
| 引用为： | arXiv:2609.34924 [cs.LG] |
| （或本版本引用 arXiv:2609.34924v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2609.34924 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sebastian Bobadilla-Suarez [查看邮箱]
[v1]
2026 年 9 月 28 日星期一 11:25:52 UTC（178 KB）
[v2]
2026 年 11 月 12 日星期四 12:58:34 UTC（178 KB）
来源：arXiv cs.AI · arxiv.org