arXiv cs.AI· Sukai Huang, Chenyuan Zhang, Fucai Ke, Zhixi Cai, Naim Rastgoo, Gholamreza Haffari, Hamid Rezatofighi·· 3 天前AI 评分31
LLM 规划能力研究：ACPBbench-Hard 上揭示两种不同的规划能力
What We Talk About When We Talk About LLM Planning: Evidence for Two Distinct Planning Abilities
AI 导读
研究在 ACPBench-Hard 上评估多个 LLM 系列，结合多维项目反应理论发现 LLM 规划表现由两种潜在能力主导：操作推理（评估局部动作适用性与即时状态转移）和结构枚举（推理目标可达性与地标结构）。操作推理随模型规模扩大和推理链变长而提升，结构枚举则相对不敏感。作者据此提出应转向能力层面的 LLM 规划评估。
正文 · AI 翻译
摘要：当 LLM 在各类规划任务上表现不一时，这些差距常被归因于任务难度。我们认为这一解释并不完整，因为任务层面的差异可能反映的是不同的潜在规划能力，而非单一能力谱系上的差异。我们在 ACPBench-Hard 上研究这一问题，评估多个 LLM 系列在不同测试时推理预算下的表现，并应用多维项目反应理论模型来揭示 LLM 规划背后的潜在能力结构。分析揭示了塑造规划表现的两个主要维度：操作性推理，即评估局部动作适用性和即时状态转换的能力；以及结构性枚举，即对目标可达性和地标结构进行推理的能力。操作性推理随模型规模扩大和推理轨迹延长而提升，而结构性枚举则相对不敏感。我们的发现推动了对 LLM 规划进行能力层面的评估，将关注点从模型是否整体提升转向哪些规划能力在何种条件下提升以及为何提升。
| 评论： | ARR 反驳后的修订版本。关键词：推理、自动规划、项目反应理论、LLM 作为规划器 研究领域：NLP 与符号推理 研究领域关键词：神经符号、智能体中的规划、符号推理 贡献类型：模型分析与可解释性 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2607.11197 [cs.AI] |
| （或使用 arXiv:2607.11197v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2607.11197 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Sukai Huang [查看邮箱]
[v1]
2026年7月13日星期一 07:47:17 UTC（3,001 KB）
[v2]
2026年10月12日星期一 18:16:00 UTC（2,918 KB）
来源：arXiv cs.AI · arxiv.org