arXiv cs.AI· Oriol Miro-Lopez-Feliu, Oscar Mir\'o L\'opez-Feliu, Victor Gimenez-Abalos, Javier Vazquez-Salceda, Victor Carballo Araruna, Sergio Alvarez-Napagao·· 11 小时前AI 评分52
研究用形式语义检验 LLM 智能体的规划能力
Testing the Planning Claims of LLM-Based Agents against Formal Semantics
AI 导读
一项 arXiv 论文用隐藏 PDDL 模型检验 LLM 智能体的规划能力，覆盖五个领域、四个模型、六种提示策略和三种智能体架构。最佳配置在离线条件下解决 78% 的可解任务，在线条件下仅 40%，且智能体多数情况下不检查状态；不可解任务的识别率不足 10%。更重的提示策略消耗 5 至 22 倍 token 却无明显收益，规划表现随模型变化的幅度大于随提示策略或架构变化的幅度。
正文 · AI 翻译
摘要：基于 LLM 的智能体越来越多地被认为具备实用推理能力：规划、监控并纠正自身行动。它们的成功被归因于围绕模型构建的提示策略和智能体架构，例如思维链、基于搜索的提示、自我改进、反思、批评者以及工具使用循环。然而，这些主张通常由端到端成功率来支持，而成功率只表明任务是否完成，或者由 LLM 评判者来支持，而评判者并非验证器。我们依据形式语义来测试 LLM 的规划能力。任务以自然语言提出，但每个任务都基于一个隐藏的 PDDL 模型，该模型决定每个动作是否适用、目标是否达成，以及是否存在规划。在五个领域（其中两个是新的，均随论文发布）、四个模型、六种提示策略和三种智能体架构中，最佳配置在离线条件下解决了 78% 的可解任务，但在在线条件下仅解决 40%，此时智能体大多在不检查状态的情况下行动。不可解任务仅在不到 10% 的回合中被识别出来，而更繁重的提示策略使用的 token 数量是直接提示的 5 到 22 倍，却没有明显收益。在我们的实验中，规划性能在不同模型之间的差异大于在不同提示策略或智能体架构之间的差异。关于智能体能够进行规划的主张需要来自经过验证的动作轨迹的证据。
| 评论： | 41 页，含附录 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22469 [cs.AI] |
| （或 arXiv:2610.22469v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22469 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Oscar Miró López-Feliu [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 17:47:30 UTC（2,154 KB）
来源：arXiv cs.AI · arxiv.org