arXiv cs.AI· Idriss Malek, Omar Choukrani, Daniil Orel, Anh Duy Le Dinh, Zhuohan Xie, Zangir Iklassov, Martin Tak\'a\v{c}, Salem Lahlou·· 3 天前AI 评分31
LLM-BabyBench：语言模型能否在可模拟的世界中做规划？
LLM-BabyBench: Can Language Models Plan in Worlds They Can Simulate?
AI 导读
LLM-BabyBench 将程序生成的 BabyAI 网格世界改造为完全可观测的纯文本环境，把规划能力与感知、检索、常识等因素分离评估。其 PPD 套件包含 Predict、Plan、Decompose 三项任务，在七个前沿与开源模型零样本测试中，所有模型的模拟表现均远超规划，最强模型接近饱和。
正文 · AI 翻译
摘要：针对 LLM 的交互式基准通常只报告单一指标，尽管在其中取得成功需要模型展现多种不同的能力。虽然这些基准有助于衡量模型执行下游任务的总体能力，但仅凭聚合分数很难识别出究竟是哪种能力的缺失导致了失败。例如，在要求模型在模拟世界中导航以执行任务的基准中，失败可能源于感知、指令歧义、检索、对动作作用的常识缺失、未知动态或规划。\benchmark 将程序化生成的 BabyAI 网格世界重构为一个完全可观测的纯文本环境，旨在将这些因素与规划分开评估。环境的性质与提示的结构控制了上述其他因素。为评估模型，我们定义了 PPD 套件：\textbf{Predict} 要求给出动作序列之后的状态，\textbf{Plan} 要求给出达到目标的动作序列，\textbf{Decompose} 要求给出实现任务的子目标序列。在七个前沿与开源模型上以零样本方式查询，我们发现每个模型的模拟能力都远超规划能力，最强模型已接近饱和。所需解的长度决定了规划失败，四个最强模型各自都有一个超出后单次尝试成功率便崩溃的视野范围。claude-opus-4-6 和 claude-sonnet-4-6 逐步展示其推理过程的回答表明，它们通过提出 L 形走廊来进行规划，这与它们的成功规划在成功率下降时仍接近最优相一致。在子目标层面，分解精度在长任务上同样降至零，而对这些任务的理解仍然保持。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2505.12135 [cs.AI] |
| （或本版本的 arXiv:2505.12135v3 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2505.12135 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Idriss Malek [查看邮箱]
[v1]
2025年5月17日星期六 20:23:17 UTC（240 KB）
[v2]
2026年9月11日星期五 14:58:03 UTC（327 KB）
[v3]
2026年10月11日星期日 16:59:10 UTC（326 KB）
来源：arXiv cs.AI · arxiv.org