arXiv cs.AI· Yingjian Chen, Lang Zhou, Zixin Zhao, Pingfan Li, Weishi Zheng, Zhilin Zhao·· 13 小时前AI 评分31
ConCal：用延续共享校准动作价值，提升长程智能体强化学习
Action-Value Calibration via Continuation Sharing for Long-Horizon Agentic Reinforcement Learning
AI 导读
针对长程智能体强化学习中信用分配困难的问题，研究者提出 ConCal（Continuation Calibration），一种递归延续价值估计器，利用 rollout 批次中已有的延续证据校准动作价值，无需额外采样。
正文 · AI 翻译
摘要：长时程智能体的强化学习依赖一系列交互的反馈，这使得将信用分配给单个动作变得困难。GiGPO 等现有方法在共享状态下比较动作以计算相对优势，但每个动作的价值仅从单条采样延续中估计。由此得到的局部信用仍对轨迹中后续做出的决策敏感。为解决这一问题，我们提出 ConCal（Continuation Calibration，延续校准），一种递归的延续价值估计器，它利用 rollout 批次中已有的延续证据。ConCal 通过各次访问的入站状态-动作-状态转移来匹配同一任务中的访问，将共享的延续证据与每次访问自身的转移估计相结合，并将校准后的价值反向传播以改进先前的动作价值估计。这降低了对单条采样延续的依赖，并在无需额外 rollout 的情况下缓解局部信用失真。留出回报诊断显示，与基于单条延续的估计相比，组内价值差异的误差更低，与参考动作排序的一致性更高。在 Qwen2.5-1.5B-Instruct 上，ConCal 在 ALFWorld 和 WebShop 上的成功率分别比 GiGPO 提高了 3.39 和 5.86 个百分点。我们的代码可在 此 https URL 获取。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37195 [cs.LG] |
| （或 arXiv:2610.37195v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37195 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yingjian Chen [查看邮箱]
[v1]
2026年10月27日星期二 13:16:08 UTC（2,991 KB）
来源：arXiv cs.AI · arxiv.org