arXiv cs.AI· Mingda Zhang, Yun Huang, Qiang Huang, Yanjin Li, Rui Qian, Qichao Zhao, Tiesunlong Shen, Na Zhao, Jian Wang, Xiaoying Tang·· 11 小时前AI 评分34
R²Orch：通过技能内化循环中的自我对弈实现智能体编排的递归自我改进
R$^2$Orch: Recursive Self-Improvement for Agent Orchestration via Self-Play within a Skill-Internalization Loop
AI 导读
R²Orch 提出递归自我对弈编排范式，内循环通过自我对弈在自选任务上改进编排器，外循环改进内循环的改进方式。其核心是 Recursive Learnability 训练目标与 Skill Withdrawal 机制：当受控评估显示去掉某技能后编排器表现不变时即撤下该技能，使系统趋向零技能部署。在十二个数据集上，R²Orch 在问答、数学、代码和交互任务中均持续优于基线。
正文 · AI 翻译
摘要：近年来，智能体编排已被广泛应用于解决复杂的人类任务。然而，现有的编排学习仍面临关键挑战，包括手工设计的课程、当某个任务的所有 rollout 都达到相同结果时的优势坍缩，以及以单一噪声分数评判每项技能的不可靠评估信号。为应对这些挑战，我们提出 R$^2$Orch，一种递归自博弈编排的新范式：内循环通过自博弈在自选任务上改进编排器，外循环则改进内循环的改进方式。为支撑这一范式，我们引入递归可学习性，这是一种训练目标，奖励 Proposer 选择那些在技能被撤除时其 rollout 仍持续达到不同结果的任务。基于该目标，我们进一步提出技能撤除：一旦自博弈内的受控评估表明编排器在没有某项技能时表现同样好，外循环便撤除该技能。此外，两个循环构成一个周期：失败被蒸馏为技能，技能被蒸馏为参数，而撤除又引导 Proposer 发现新的失败，从而使编排器朝着零技能部署迈进。在十二个数据集上的实验结果表明，R$^2$Orch 在问答、数学、代码和交互任务上均持续优于基线。
| 评论： | 含附录共 21 页 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22740 [cs.AI] |
| （或 arXiv:2610.22740v1 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.22740 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mingda Zhang [查看邮箱]
[v1]
2026 年 10 月 15 日星期四 23:21:21 UTC（12,961 KB）
来源：arXiv cs.AI · arxiv.org