arXiv cs.CL· Hieu Tran, Zonghai Yao, Sunjae Kwon, Hong Yu·· 12 小时前AI 评分31
先度量再分配：面向强化学习中 MCP 智能体的校准 rollout 预算
Measure First, Then Allocate: Calibrated Rollout Budgets for MCP Agents in Reinforcement Learning
AI 导读
研究提出 BRACE（Bank-calibrated Rollout Allocation under Correlated Episodes），在生成前预测混合奖励组，从而为 MCP 环境中的策略训练分配 rollout 预算。
正文 · AI 翻译
摘要：训练使用工具的语言模型需要昂贵的交互，而同一 rollout 组内完全相同的奖励无法提供组相对学习信号。我们利用奖励分歧来指导 harness 评估以及模型上下文协议（MCP）环境中策略训练的 rollout 分配。我们首先引入 Discord，它使用精确配对推理和保持决策的提前停止来测试 harness 编辑：只有存在分歧的配对结果才表明一个 harness 优于另一个。这一洞见促成了 BRACE（相关回合下基于库校准的 rollout 分配）中的前瞻性分配。BRACE 结合历史任务证据、任务成功率的不确定性以及相关奖励模型，在分配生成预算之前预测混合奖励组。受控 harness 实验支持 Discord，而实时 MCP 实验揭示了保留成本权衡。在三个 Qwen3-VL 模型规模上，BRACE 以更少的新训练 rollout 超过了图中最强基线峰值；历史库收集单独计算。它还在无需进一步训练的情况下，在 BFCL 和 NESTFUL 上领先于所比较的方法。消融实验考察了库、估计器和分配分数；前瞻性评估检查了预测校准。这些结果支持在生成之前预测奖励对比。
| 评论： | 21 页，7 幅图，6 张表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.28785 [cs.LG] |
| （或 arXiv:2610.28785v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28785 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hieu Tran [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 18:15:52 UTC（158 KB）
来源：arXiv cs.CL · arxiv.org