arXiv cs.AI· Sayak Chakrabarti, Sathish Reddy Indurthi·· 10 天前AI 评分24
RELACE：面向长程语言智能体的基于回顾似然的动作信用估计
RELACE: retrospective likelihood-based action credit estimation for long-horizon language agents
AI 导读
RELACE 是一个无需 critic 的框架，通过教师强制似然评分对比动作在原始上下文与结果增强上下文下的可能性，得到轨迹归一化的回顾因子，用于重加权折扣回报并构建局部优势。
正文 · AI 翻译
摘要：组相对策略优化（GRPO）通过从 rollout 组中估计优势来避免单独的 critic。然而，对于多轮智能体，轨迹级监督提供的是粗糙且有噪声的信用：终端奖励无法定位错误，并且可能将有用动作与错误一并惩罚。组中组策略优化（GiGPO）及后续方法通过状态条件比较来细化监督，但它们的信用估计仍然对下游决策和结果敏感。我们提出 RELACE（Retrospective Likelihood-based Action，基于回顾似然的动作），这是一个无 critic 框架，将回顾性动作评估与状态条件优势估计相结合。RELACE 在原始上下文和结果增强上下文下，通过教师强制似然评分来评估已执行的动作。比较这些似然可得到一个轨迹归一化的回顾因子，该因子捕捉动作合理性随结果的变化，而不仅仅是事后合理性。我们使用该因子对折扣任务回报重新加权，并通过比较同一任务中等价状态下的动作的加权回报来构建局部优势。这将回顾相关性与观测奖励耦合起来，产生细粒度信用，补充轨迹级 GRPO 监督。时间平滑和成功保护掩码进一步稳定局部信号。RELACE 既不需要辅助价值模型或奖励模型，也不需要额外的自回归 rollout 来进行信用估计。在 ALFWorld 和 WebShop 上使用 Qwen2.5-1.5B-Instruct 和 Qwen2.5-7B-Instruct 进行的实验表明，相比 GRPO、GiGPO 和 HCAPO 有显著提升。使用 1.5B 模型时，RELACE 在 ALFWorld 上达到 $96.35\%$ 的成功率，在 WebShop 上达到 $79.43\%$，分别超过 GiGPO $5.47$ 和 $5.60$ 个百分点。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07349 [cs.LG] |
| （或 arXiv:2610.07349v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07349 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sayak Chakrabarti [查看邮箱]
[v1]
2026年10月5日星期一 20:19:04 UTC（126 KB）
来源：arXiv cs.AI · arxiv.org