arXiv cs.AI· Zechuan Wang, Siyuan Lu, Hongxuan Zhang, Linjian Mo, Chenyi Zhuang, Leilei Gan·· 11 小时前AI 评分29
CrEST：面向多轮多步 LLM 智能体的验证器锚定信用分配框架
Teach the Magnitude, Not the Direction: Verifier-Anchored Credit Assignment for Multi-Turn Multi-Step LLM Agents
AI 导读
CrEST 提出一种分层信用分配框架，将每个采样 token 的标量优势符号锚定到验证器奖励，同时用特权自教师提供稠密幅度信号。它在轮次级用验证优势缓解轮间稀释，在轮内用熵门控自教师调制细化 token 贡献。在 BFCL V3 和 WildToolBench 上，CrEST 在两个模型规模下均优于 RL 与蒸馏基线，长轨迹和严格会话级指标提升最大。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR）直接针对多轮工具使用智能体优化验证器定义的结果，但其轨迹级信用分配会将异质的逐轮结果混同为单一奖励信号。同策略蒸馏提供密集的逐 token 监督，但使用教师定义的 token 级目标，且容易出现梯度集中坍缩。我们提出 $\textbf{CrEST}$，一种分层信用分配框架，它将每个采样 token 的标量优势符号锚定到已验证奖励，同时融入来自特权自教师的密集幅度信号。$\textbf{CrEST}$ 在两个层面解决信用问题：按轮切分的已验证优势缓解轮间稀释，而熵门控的自教师调制则细化轮内 token 贡献。在 BFCL V3 和 WildToolBench 上的实验表明，$\textbf{CrEST}$ 在两种模型规模上均持续优于 RL 和蒸馏基线，在长轨迹和严格的会话级指标上提升最大。我们的工作表明，教师在策略优化中的角色可以从决定 token 级的强化或抑制，降为调制更新幅度，从而在保持验证器奖励作为训练目标的同时实现密集信用分配。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2608.13179 [cs.AI] |
| （或 arXiv:2608.13179v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.13179 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Siyuan Lu [查看邮箱]
[v1]
2026年8月13日星期四 12:44:37 UTC（12,074 KB）
[v2]
2026年10月16日星期五 14:02:05 UTC（12,077 KB）
来源：arXiv cs.AI · arxiv.org