arXiv cs.CL· Rui Yu, Chong Mu, Jinchuan Zhang·· 10 小时前AI 评分32
TSBPO：面向交互式语言智能体策略优化的树结构分支方法
TSBPO: Tree-Structured Branching for Policy Optimization in Interactive Language Agents
AI 导读
TSBPO 提出一种树结构采样到更新的训练范式，在同一训练循环内解决交互式语言智能体的任务采样、延迟反馈分配与多 token 动作损失聚合问题。
正文 · AI 翻译
摘要：从终端结果训练交互式语言智能体面临三个相互耦合的问题：采样哪些任务和状态延续、如何将延迟反馈分配给决策，以及如何为多 token 动作聚合 token 损失。我们提出 TSBPO，一种树结构化的从采样到更新的范式，在一个训练循环内解决这些问题。一个基于似然拟合的 Root/Branch 分配器利用保留的任务和状态证据，在固定 rollout 预算下，将延续导向可能产生对比性终端结果的方向。在由此得到的重放物理树上，轨迹优势比较相邻的兄弟片段，而观察组步骤优势比较在匹配的任务/观察状态下的结果。随后，actor 对每个完整响应的裁剪 token 代理项求和，并在活跃轮次上归一化，避免在策略梯度项中按响应长度平均。使用 Qwen2.5-1.5B actor 时，固定检查点在 ALFWorld 上获得 97.79% 的已见和 96.64% 的未见随机成功率，并在 500 个 WebShop 测试目标各自的六个随机回合上获得 81.07% 的每回合成功率。在相同的 update-100 评估下，WebShop 步骤项消融得到 75.93%；ALFWorld 聚合比较显示，完整轮次加权下观察到的命令有效性更高。这些结果在两个交互式基准上支持了所评估的训练配置。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.41697 [cs.AI] |
| （或此版本的 arXiv:2610.41697v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.41697 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rui Yu [查看电子邮件]
[v1]
2026年10月30日星期五 13:04:05 UTC（2,534 KB）
来源：arXiv cs.CL · arxiv.org