跳到正文
arXiv cs.AI· Jingxuan Xu, Gang Wu, Yanan Wu, Yutao Mou, Songwei Yu, Tianzhuang He, Zhengshuo Gong, Zhao Liu, Zihang Xu, Wenqiang Zhu, Xinping Lei, Weihao Li, Ziqi Miao, Yuhui Bai, Zhongqiu Wang, Yan Wu, Ariel Deng·· 4 小时前AI 评分38

FLARE:基于生成式奖励模型的长程编程智能体全生命周期稠密监督范式

FLARE: A Full-Lifecycle Dense Supervision Paradigm for Long-Horizon Coding Agents via Generative Reward Model

AI 导读

FLARE 提出一种由轻量生成式奖励模型(GRM)驱动的稠密监督范式,用于长程软件工程智能体。其 RADAR 框架通过因果链回溯提取无事后信息的监督信号,蒸馏出的 GRM 在推理时拦截高风险步骤做断点重执行,FLARE(N=1)在 token 消耗降低 5 倍的情况下优于 Global Rollout(N=5)。用于训练后,SFT 相对提升 19.13%,RL 稳定提升 9.19%。

正文 · AI 翻译

作者:Jingxuan Xu、Gang Wu、Yanan Wu、Yutao Mou、Songwei Yu、Tianzhuang He、Zhengshuo Gong、Zhao Liu、Zihang Xu、Wenqiang Zhu、Xinping Lei、Weihao Li、Ziqi Miao、Yuhui Bai、Zhongqiu Wang、Yan Wu、Ariel Deng

查看 PDF HTML(实验性)

摘要:尽管测试时扩展能增强大语言模型(LLM)智能体在长程软件工程(SWE)中的表现,但稀疏的二元奖励(通过/失败)造成了严重的信用分配危机,并浪费了失败的探索轨迹。当前的轨迹优化与扩展方法成本高昂且存在结构性局限,依赖启发式状态复用而缺乏因果诊断,或依赖延迟的标量评分而缺乏可操作的在线指导。我们提出 FLARE(全生命周期对齐与奖励引擎),一种由轻量级生成式奖励模型(GRM)驱动的新型稠密监督范式。首先,RADAR 是一个离线因果感知诊断框架,通过因果链回溯提取高保真、无后见之明的监督信号,以蒸馏出一个提供实时、步骤级风险反馈的 GRM。其次,FLARE 利用该 GRM 在整个生命周期内持续优化智能体。在推理期间,FLARE 充当主动脚手架,自主拦截高风险生成步骤以进行局部断点重执行,从而大幅降低计算开销。在后训练期间,GRM 的结构化信号可作为监督微调(SFT)的过程监督重排序分数,以及强化学习(RL)的步骤级稠密奖励,从而缓解稀疏环境中的策略崩溃。大量评估表明,FLARE 在智能体生命周期内建立了新的帕累托前沿:FLARE(N=1)优于全局展开(N=5),且 token 消耗降低 5 倍。将 FLARE 扩展到训练阶段,克服了长程交互任务中的稀疏奖励问题,通过过程感知的数据整理在 SFT 中实现 19.13% 的相对性能提升,并在 RL 中持续获得 9.19% 的提升。
主题: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2609.23808 [cs.CL]
  (或本版本的 arXiv:2609.23808v2 [cs.CL])
  https://doi.org/10.48550/arXiv.2609.23808

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Miao Ziqi [查看邮箱]
[v1] 2026年9月20日 星期日 18:54:16 UTC(2,530 KB)
[v2] 2026年11月17日 星期二 09:59:52 UTC(2,507 KB)

来源:arXiv cs.AI · arxiv.org