arXiv cs.CL· Haoyu Sun, Wenxuan Wang, Mingyang Song, Jujie He, Weinan Zhang, Yang Liu, Yang Yang, Yu Cheng·· 12 小时前AI 评分36
Agent Planning Benchmark：面向 LLM 智能体规划能力的诊断框架
Agent Planning Benchmark: A Diagnostic Framework for Planning Capabilities in LLM Agents
AI 导读
研究者推出 Agent Planning Benchmark（APB），一个专门诊断 LLM 智能体规划能力的基准，含 22 个领域、5 种设置下的 4,209 个多模态案例，覆盖整体规划、反馈条件下的分步规划，以及多余工具、损坏工具和不可解任务下的鲁棒性。
正文 · AI 翻译
摘要：规划是 LLM 智能体的核心：在行动之前，智能体必须分解目标、选择工具、在约束条件下进行推理，并判断任务何时不可行。然而，现有的智能体评估往往只报告端到端成功率，导致难以确定失败是源于规划还是执行。我们提出了 Agent Planning Benchmark（APB），这是一个专门针对规划的诊断性基准，包含 22 个领域、五种设置下的 4,209 个多模态案例，涵盖整体规划、反馈条件下的逐步规划，以及在无关工具、损坏工具和不可解任务下的鲁棒性。在 12 个 MLLM 上，APB 揭示了在长时程规划、工具噪声鲁棒性、校准拒绝和推理时改进方面的系统性弱点。我们进一步在 200 个 ToolSandbox 任务和 200 个 $\tau^2$-bench 任务上验证了 APB，在三个代表性模型中，APB 引导的改进持续提升了规划正确性、规划评分和下游执行指标。因此，APB 可作为执行基准的上游诊断补充。APB 基准和代码可在 \href{此 https URL}{此 URL} 获取。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.04874 [cs.CL] |
| （或 arXiv:2606.04874v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.04874 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haoyu Sun [查看电子邮件]
[v1]
2026 年 6 月 3 日星期三 13:37:47 UTC（4,524 KB）
[v2]
2026 年 6 月 5 日星期五 05:23:52 UTC（4,524 KB）
[v3]
2026 年 10 月 5 日星期一 09:18:53 UTC（4,541 KB）
[v4]
2026 年 10 月 27 日星期二 07:02:03 UTC（4,539 KB）
来源：arXiv cs.CL · arxiv.org