arXiv cs.AI· Jingxuan Xu, Zihang Xu, Yuechen Luo, Ziqi Miao, Wenqiang Zhu, Weihao Li, Junhao Fan, Xinshun Feng, Zhiyi Lai, Yanan Wu, Haoyang Huang, Ken Deng·· 4 小时前AI 评分32
RIPPLE:通过过程级策略学习与效果感知信用实现长程智能体编程的恢复内化
RIPPLE: Recovery Internalization through Process-Level Policy Learning and Effect-Aware Credit for Long-Horizon Agentic Coding
AI 导读
RIPPLE 是一个面向长程编程智能体的恢复导向训练框架,将过程级指导内化为单一自恢复策略,在四个仓库级软件工程基准上平均提升基础策略 4.8 分,部署时无需辅助 critic。
正文 · AI 翻译
作者:Jingxuan Xu、Zihang Xu、Yuechen Luo、Ziqi Miao、Wenqiang Zhu、Weihao Li、Junhao Fan、Xinshun Feng、Zhiyi Lai、Yanan Wu、Haoyang Huang、Ken Deng
摘要:长程编码智能体能够观察到失败并生成看似合理的批评,却仍沿着同一条错误轨迹继续前进。我们将此称为“批评到行动交接鸿沟”(Critique-to-Action Handoff Gap)。我们提出 RIPPLE,一个面向恢复的训练框架,将过程级指导内化为单一的自恢复策略。仅使用前缀的教师模型提供基于证据的恢复监督,且无法访问未来动作或最终结果。经过轻量蒸馏后,强化学习为反思触发、诊断和纠正动作分配阶段特定的信用。局部有效性信号对轨迹优势进行门控,使中间恢复决策不会不加区分地继承最终结果。在四个仓库级软件工程基准上,RIPPLE 使基础策略的算术平均分提升 4.8 分,且部署时无需辅助评论器。受控消融实验分离出局部、阶段对齐信用的收益,匹配前缀干预表明批评语义会影响后续纠正。恢复收益集中在以下情况:前缀包含足够的诊断证据,且仓库状态在剩余预算内仍可逆。
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.31276 [cs.AI] |
| (或此版本的 arXiv:2610.31276v2 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2610.31276 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Miao Ziqi [查看邮箱]
[v1]
2026年10月22日 星期四 13:45:33 UTC(5,439 KB)
[v2]
2026年11月17日 星期二 09:53:25 UTC(5,441 KB)
来源:arXiv cs.AI · arxiv.org