arXiv cs.AI· Yuyang Wu, Yang Liu, Zequn Xie, Junjie Wang, Dan Yang, Zehao Tan, Ding-Chu Zhang, Junming Yang, Yue Shen, Jian Wang, Jinjie Gu·· 1 天前AI 评分32
LEAD-RL：用贡献感知信用分配训练高效多智能体深度研究
From Delegation to Coordination: Learning Efficient Multi-Agent Deep Research
AI 导读
LEAD-RL 是一个联合训练主智能体与子智能体的强化学习框架，通过贡献感知的信用分配，按每个子智能体报告的研究价值来门控其继承的团队优势，最终答案正确性是唯一团队奖励。在五个基准和两个模型族上，它在 BrowseComp 上比共享团队信用的联合训练准确率提升 2.49 个百分点，关键路径成本降低 24.5%；验证阶段准确率提升 6.78 点而关键路径成本基本不变。
正文 · AI 翻译
作者：Yuyang Wu、Yang Liu、Zequn Xie、Junjie Wang、Dan Yang、Zehao Tan、Ding-Chu Zhang、Junming Yang、Yue Shen、Jian Wang、Jinjie Gu
摘要：多智能体深度研究系统通过委派来并行化搜索，并使冗长的工具调用轨迹不进入主智能体的上下文。然而，只有当任务分配与子任务执行相互协调时，委派才能发挥作用：主智能体必须发出有用的子任务，而子智能体必须返回可靠的证据。现有训练要么只优化主智能体，要么向所有智能体广播相同的团队优势，这可能奖励误导性的子智能体报告，并惩罚有用的报告。我们提出 LEAD-RL（Learning Effective Agent Delegation with Reinforcement Learning），这是一个具有贡献感知信用分配的联合主智能体-子智能体训练框架。训练时的评分标准评估每个子智能体报告的研究效用，并据此对其继承的团队优势进行门控，而最终答案的正确性仍是唯一的团队奖励；不使用 token、步数或加速比奖励。在五个基准和两个模型系列上，LEAD-RL 提升了答案质量。在 BrowseComp 上，与共享团队信用的联合训练相比，它将准确率提高了 2.49 个百分点，并将关键路径成本降低了 24.5%。在验证期间，准确率在关键路径成本大致不变的情况下提高了 6.78 个百分点。这些结果表明，贡献感知的信用分配改善了多智能体深度研究的质量-效率权衡。
| 评论： | 16 页，3 幅图，3 张表 |
| 主题： | 多智能体系统（cs.MA）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.17041 [cs.MA] |
| （或 arXiv:2611.17041v1 [cs.MA] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.17041 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yang Liu [查看电子邮件]
[v1]
2026 年 11 月 12 日星期四 16:26:27 UTC（640 KB）
来源：arXiv cs.AI · arxiv.org