arXiv cs.AI· Junyao Yang, Zongxia Li, Yucheng Shi, Zhongzhi Li, Ruhan Wang, Ruiwen Zhou, Haitao Mi, Shuicheng Yan, Leowei Liang·· 2 天前AI 评分23
Terminal-RSI：通过递归自改写与策略精炼实现递归自我改进的终端智能体
Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine
AI 导读
Terminal-RSI 通过交替进行已验证轨迹的递归自改写（RSR）与继承评论家的递归策略精炼（RPR），从 Qwen3.8-27B 基座模型经五阶段训练得到 Terminal-RSI-27B。
正文 · AI 翻译
摘要：将验证器结果转化为有用的策略更新，并将部分进展转化为完整任务解决，对终端智能体至关重要。我们提出 Terminal-RSI，它在已验证轨迹的递归自我重写（RSR）与继承评论家的递归策略精炼（RPR）之间交替进行。我们提出轮次边界跳过观测 GAE（TB-GAE），以保留特定于 token 的基线，同时在交互轮次间应用衰减。家族密集奖励（FDR）校准跨任务家族的语义进展；成功优先奖励（SPR）将严格成功与有界部分得分区分开来。预热评论家模型、递归评论家交接以及分阶段学习率协调两个精炼阶段。从 Qwen3.8-27B 基础模型经过 RSR-1、RPR-1、RSR-2 和 RPR-2 的五阶段序列产生了 Terminal-RSI-27B：在 Terminal-Bench 4.0 上为 19.84%，在 Terminal-Bench 2.1 上为 86.52%，在 Terminal-Bench 3.0 上为 16.95%，在 Terminal-Bench Hard 上为 79.00%。在 LHTB 上，过程奖励从 0.21 上升到 0.37，严格完成率从 0/46 上升到 5/46；SWR100 成功率从 3.00% 翻倍至 6.00%。通过递归地将已验证轨迹重写与继承评论家的策略精炼耦合起来，每个保留的阶段都巩固了已发现的行为，并逐步推动智能体从部分局部修复走向严格的终端验证。
| 评论： | 28 页，16 幅图，5 张表 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22192 [cs.AI] |
| （或 arXiv:2610.22192v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22192 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Junyao Yang [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 16:43:56 UTC（11,576 KB）
来源：arXiv cs.AI · arxiv.org