arXiv cs.AI· Bowen Ding, Qixin Wang, Lexing Ruan, Weiyi Lu, Qiwei Ge, Ruishan Fang, Tao Lin·· 11 小时前AI 评分40
MS-Eval：面向 MCP 密集型工作场景的子智能体委派与编排基准
MS-Eval: Benchmarking Sub-Agent Delegation and Orchestration in MCP-Intensive Working Scenarios
AI 导读
研究者推出 MS-Eval 评测套件，用于量化 MCP 密集型场景下主智能体委派、子智能体执行的 MAD-SAE 范式质量，包含基准、受控执行框架、委派与编排指标及 MSQ 指数。评测四种 MAD-SAE 变体与八个前沿模型发现，子智能体专精化（Spec）是最佳实践，开源模型整体具竞争力。MAD-SAE 通常抬高成本且收益不定，对多数开源模型在性能与效率上均有提升，闭源模型则成本更高、性能下降。
正文 · AI 翻译
摘要：LLM 智能体正日益融入真实世界的工作中，但它们必须处理多样化的领域专用工具以及复杂的多子任务问题，而顺序调用工具的方式解决这些问题效率低下，并且会造成严重的上下文膨胀。主智能体委派与子智能体执行（MAD-SAE）范式通过将子任务委派给专用子智能体，在隔离的上下文中并行执行，从而解决这些问题，但其委派与编排质量仍未得到量化。我们推出 MS-Eval，这是一个统一的评估套件，包含一个 MCP 密集型基准、一个受控执行框架、量身定制的委派与编排指标，以及用于综合评估的 MSQ 指数。对四种 MAD-SAE 变体和八个前沿模型的评估表明：（1）子智能体专业化（Spec）是最佳实践；（2）开源模型在很大程度上具有竞争力，仅有少数例外；（3）MAD-SAE 总体上会提高成本，且收益具有条件性，在性能和效率两方面使大多数开源模型受益，而闭源模型则成本更高、性能下降。我们的案例研究进一步将这些收益归因于更好的单智能体解决方案、有效的上下文卸载以及真正的子任务并行，而不必要或冗余的委派则会将同样的成本转化为纯粹的开销。代码：此 https URL
| 评论： | 48 页，20 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22869 [cs.AI] |
| （或 arXiv:2610.22869v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22869 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Bowen Ding [查看邮箱]
[v1]
2026 年 10 月 16 日星期五 03:13:30 UTC（2,796 KB）
来源：arXiv cs.AI · arxiv.org