LLM 距离符号规划器还有多远？一项基于 NLP 视角的评估

查看 PDF HTML（实验性）

摘要：AI 规划使智能体能够在给定环境中自主行动以实现目标。大语言模型（LLM）的最新进展带来了利用非结构化输入进行规划的前景，使 LLM 在规划中的应用成为活跃的研究领域，尤其是在支持自主智能体方面。然而，LLM 作为长程规划器仍不可靠，因为它们生成的某些计划包含错误或幻觉的动作；执行此类计划可能导致意外和有害的结果。现有的 LLM 规划基准主要依赖二元评估指标，对未达成目标的计划质量以及这些计划距离成为有效计划还有多远，提供的洞察有限。在本文中，我们将 LLM 在规划中的评估视为一项自然语言处理（NLP）任务，因为 LLM 本身就是 NLP 模型。我们提出一个包含三个基于 NLP 的步骤的流程，从互补视角评估计划质量，随后通过一个符号规划步骤来获得有效计划，从而对无效计划的质量提供更细粒度的理解。在实验中，我们未发现 LLM 计划生成过程中存在逻辑推导或状态跟踪的明确证据——平均而言，对于所有非空计划，每个计划仅有 3.55 个动作可执行，而符号生成的最优计划平均长度为 9.47 个动作，这表明 LLM 仍远未达到符号规划器的可靠性。我们的指标套件进一步用于研究 LLM 计划生成随时间变化的模式，并可为评估单个无效计划的质量提供有用的指标。

提交历史

来自：Ma'ayan Armony [查看邮箱]
[v1] 2025年8月2日 星期六 10:20:52 UTC（243 KB）
[v2] 2026年10月20日 星期二 09:27:59 UTC（126 KB）