arXiv cs.CL· Yuhan Sun, Jiaxin Zhao, Yongdong Luo, Yibo Hu, Meiguang Jin, Junfeng Ma, Weixun Wang, Weihang Pan, Zhongan Bi·· 11 小时前AI 评分32
MultiAgent-OPD：用同策略蒸馏端到端训练分层多智能体系统
MultiAgent-OPD: End-to-End Training of Hierarchical Multi-Agent Systems with On-Policy Distillation
AI 导读
MultiAgent-OPD 将同策略蒸馏与强化学习结合，端到端联合训练共享参数的 Leader-Searcher-Answerer 团队。训练时冻结的 Teacher 为学生生成的搜索与摘要 token 打分，为 Searcher 提供局部过程监督，Leader 从团队成败中学习、Answerer 从候选答案正确性中学习。
正文 · AI 翻译
摘要：在分层多智能体系统中，Leader 分配任务，子智能体执行任务。联合训练 Leader 和子智能体很困难，因为最终答案只能给子智能体提供间接反馈。LLM 评判器可以给子智能体的表现打分，但这些分数取决于评判器自身对子智能体回复质量的评估。我们提出 MultiAgent-OPD，它将同策略蒸馏与强化学习相结合，端到端地联合训练一个共享参数的 Leader-Searcher-Answerer 团队。我们首先使用答案正确性，在 Searcher-Answerer 工作流中训练一个 Teacher。在团队训练期间，冻结的 Teacher 对学生生成的搜索和摘要 token 打分，为 Searcher 提供局部过程监督，而 Leader 从团队成功中学习，Answerer 从候选答案的正确性中学习。在七个数据集上，训练后的系统达到 38.68% 的 macro avg@4，比 Prompted Critic 高出 4.06 个百分点，比 C-MAS + RL（训练后的级联多智能体系统）高出 2.61 个百分点。该团队还能在四次尝试内解决更多问题。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23234 [cs.CL] |
| （或 arXiv:2610.23234v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23234 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuhan Sun [查看电子邮件]
[v1]
2026年10月16日星期五 10:01:52 UTC（799 KB）
来源：arXiv cs.CL · arxiv.org