arXiv cs.AI· Mingda Zhang, Qiang Huang, Yanjin Li, Zijia Wang, Qika Lin, Xiaoying Tang, Tiesunlong Shen·· 11 小时前AI 评分38
R² Flow：通过递归技能进化实现递归自我改进
R$^2$ Flow: Recursive Self-Improvement via Recursive Skill Evolution
AI 导读
R² Flow 是一个递归自我改进框架，在共享状态编排图上交替进行策略学习、独立验证和带版本号的技能库更新，解决 flow 训练的策略坍缩、非负信用误判和库编辑依赖任务奖励三个问题。在问答、数学推理、交互决策和代码生成任务上，其任务准确率和技能库编辑精度均优于启发式编排、强化学习和技能进化基线，并可跨执行器迁移。代码已开源。
正文 · AI 翻译
摘要：基于 LLM 的智能体可以通过复用和修订其编排为可执行过程的技能，在各项任务中实现自我提升。基于流的训练契合这一循环：它按奖励比例采样过程，而流经每个技能的流量会为其在下一轮技能库修订中记功。要让这种自我提升变得可靠，有三重障碍：流训练在树状历史上会出现策略坍缩；非负的基于流的信用会把频繁使用当作收益；技能库编辑依赖于策略所优化的任务奖励。我们提出 R$^2$ Flow，一个递归自我提升框架，它在共享状态编排图上交替进行策略学习、独立验证和带版本的技能库更新。该图会合并仅在独立步骤顺序上不同的历史，使流训练能够跨等价执行汇集证据。对训练所得流的流量份额读出（对反向策略不变），以及一个单独的有符号效用，用于对技能进行变更排序；验证器证据决定编辑是否有必要，残差方差平台期决定何时更新。已提交的编辑会重塑下一轮策略学习所依据的图，从而实现递归的技能演化。在问答、数学推理、交互式决策和代码生成任务上，R$^2$ Flow 相比启发式编排、强化学习和技能演化基线，提升了任务准确率和技能库编辑精度，并可跨执行器迁移。代码见 此 https URL。
| 评论： | 27 页 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.33867 [cs.AI] |
| （或 arXiv:2609.33867v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.33867 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mingda Zhang [查看邮箱]
[v1]
2026 年 9 月 27 日周日 19:43:15 UTC（574 KB）
[v2]
2026 年 10 月 16 日周五 05:17:19 UTC（570 KB）
来源：arXiv cs.AI · arxiv.org