arXiv cs.AI· Xuyan Ye, Xiyan Fu, Shengda Fan, Jiawei Cui, Yankai Lin, Wei Lu·· 3 天前AI 评分32
DeltaTTG：用 Token-to-Go 进度计量训练多轮智能体
DeltaTTG: Training Multi-Turn Agents with a Token-to-Go Progress Meter
AI 导读
DeltaTTG 通过共享进度计量器学习可复用的进度信号，其监督目标 Token-to-Go（TTG）即任务完成前还需生成的 token 数，作为剩余完成工作量的可观测代理。
正文 · AI 翻译
摘要：面向多轮智能体的可验证奖励强化学习（RLVR）依赖稀疏的终端奖励，这些奖励对单个步骤的信息揭示甚少。组内步骤比较依赖于可靠的状态匹配和足够多样的采样结果，而直接的步骤评分可能需要昂贵的外部评估器、人工标注或特定任务的启发式方法。我们提出 DeltaTTG，通过共享的进度计量器学习可复用的进度信号，利用来自不同策略所记录轨迹的低成本监督，无需特定任务的进度规则。其监督目标 Token-to-Go（TTG），即任务完成前剩余待生成的 token 数量，可作为剩余完成工作量的可观测代理。在 actor 训练期间，冻结计量器估计值的变化会在不改变奖励的情况下，将源自结果的优势重新分配到各步骤，同时保持每条轨迹的优势符号和 token 平均尺度不变。在 ALFWorld、PaperSearchQA 和 BFCLv3 上，DeltaTTG 使用 Qwen3-4B 和 Llama-3.1-8B-Instruct 时，平均得分分别比 GRPO 提高 5.7 和 7.2 分，平均而言优于所有对比的 RL 基线，并且使 actor 训练的 GPU 小时数接近 GRPO。进一步实验表明样本效率和域外性能有所提升，并支持该计量器区分步骤质量、在不同 actor 规模下指导测试时动作选择的能力。代码可在 此 https URL 获取。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.17666 [cs.LG] |
| （或 arXiv:2610.17666v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17666 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Xuyan Ye [查看电子邮件]
[v1]
2026年10月13日星期二 03:49:32 UTC（7,007 KB）
来源：arXiv cs.AI · arxiv.org