arXiv cs.CL· Zhenbang Du, Jun Luo, Zhiwei Zheng, Xiangchi Yuan, Kejing Xia, Dachuan Shi, Qirui Jin, Qijia He, Shaofeng Zou, Yingbin Liang, Wenke Lee·· 6 天前AI 评分26
PACT：面向多轮工具调用智能体的特权轨迹协同训练框架
PACT: Privileged Trace Co-Training for Multi-Turn Tool-Use Agents
AI 导读
研究者提出 PACT，一种面向多轮工具调用智能体的特权轨迹协同训练框架，将专家轨迹仅用作训练时的优化信号而非 rollout 时的提示。PACT 保持 rollout 仅依赖提示词，通过轨迹条件 RL 代理和组件感知 SFT 损失两个互补信号引导优化，并引入 prompt-only anchoring 减少对训练期轨迹上下文的过度依赖。
正文 · AI 翻译
作者：Zhenbang Du、Jun Luo、Zhiwei Zheng、Xiangchi Yuan、Kejing Xia、Dachuan Shi、Qirui Jin、Qijia He、Shaofeng Zou、Yingbin Liang、Wenke Lee
摘要：多轮工具使用智能体必须在多个交互轮次中进行推理、调用工具并适应观察结果。对此类智能体进行后训练颇具挑战，因为强化学习尽管与仅提示词的推理设置相匹配，却常常面临奖励稀疏和信用分配薄弱的问题，而在专家轨迹上进行监督微调虽能提供稠密的过程监督，却可能将模型过度约束于固定轨迹。为解决这一问题，我们提出 PACT，一种面向多轮工具使用智能体的特权轨迹协同训练框架。其核心思想是将专家轨迹仅用作训练时的优化信号，而非 rollout 时的提示。PACT 保持 rollout 生成仅使用提示词，然后利用专家轨迹通过两种互补信号引导优化：一种轨迹条件化的 RL 代理目标，在专家轨迹上下文下评估仅提示词的 rollout；以及一种组件感知的 SFT 损失，对推理和工具调用组件提供退火式过程监督。为减少对仅训练时轨迹上下文的过度依赖，PACT 引入了仅提示词锚定与标准的仅提示词 RL 更新。在 FTRL、BFCL 和 ToolHop 上的实验表明，PACT 持续优于强大的基于 SFT 和 RL 的基线。进一步的分析支持了两种训练目标的互补性，以及组件感知监督和仅提示词锚定带来的益处。这些结果凸显了特权轨迹协同训练在多轮工具使用学习中的有效性。项目页面见 此 https URL。
| 评论： | 项目页面：此 https URL |
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用格式： | arXiv:2606.16215 [cs.CL] |
| （或 arXiv:2606.16215v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.16215 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhenbang Du [查看电子邮件]
[v1]
2026年6月15日星期一 04:46:23 UTC（607 KB）
[v2]
2026年10月9日星期五 01:36:07 UTC（621 KB）
来源：arXiv cs.CL · arxiv.org