arXiv cs.AI· Xiao Feng, Bo Han, Zhanke Zhou, Jiaqi Fan, Jiangchao Yao, Ka Ho Li, Dahai Yu, Michael Kwok-Po Ng·· 1 天前AI 评分35
RewardFlow：能否从状态图拓扑估计智能体强化学习中的动作级奖励？
RewardFlow: Can Action-Level Reward Be Estimated from State-Graph Topology in Agentic RL?
AI 导读
RewardFlow 通过共享状态把同一任务的多条轨迹连成有向状态图，从成功状态反向传播奖励信号，按最短路径距离分配状态势能，无需学习过程奖励模型或人工动作级标注即可估计动作级优势。
正文 · AI 翻译
摘要：在家庭助理和网页购物等智能体任务中，大型语言模型（LLM）智能体在收到指示成功或失败的最终结果之前会执行多个动作。对于强化学习（RL）而言，这一结果掩盖了各个动作的贡献：一条购物轨迹可能找到了正确的商品，却未能完成购买。为解决这一信用分配问题，我们提出了 RewardFlow，它通过共享状态（按任务相关等价性或语义相似性分组的状态）将同一任务的多条轨迹连接起来。由此得到的有向状态图连接了观测到的轨迹片段。因此，失败轨迹中的一个动作可能到达某个状态，而从该状态出发另一条轨迹能够成功。它从任务成功的状态向后传播奖励信号，分配状态势值，这些势值随图中到成功状态的最短路径距离而递减。随后，势值差异会奖励那些缩短该距离的动作，使智能体在图中更接近成功。这些估计的奖励产生动作级优势，在策略优化过程中与来自结果奖励的轨迹级优势互补，且无需学习过程奖励模型或人工动作级标注。在 ALFWorld、WebShop、Sokoban 和搜索任务上的实验表明，在不同模型规模下均优于 RL 基线。在使用 3B 策略时，在 ALFWorld、WebShop 和 Sokoban 上，图构建和奖励估计每个训练步骤耗时 $1.47$-$2.39$ 秒（图 1）。代码可在 this https URL 获取。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2603.18859 [cs.AI] |
| （或 arXiv:2603.18859v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.18859 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiao Feng [查看邮箱]
[v1]
2026年3月19日星期四 13:07:12 UTC（1,915 KB）
[v2]
2026年5月28日星期四 06:59:57 UTC（1,737 KB）
[v3]
2026年11月12日星期四 03:57:23 UTC（1,446 KB）
来源：arXiv cs.AI · arxiv.org