arXiv cs.AI· Souhaila Djaffal, Amna Jamal, Gagana Madhugiri Devaraja, Anidipta Pal, Jobst Heitzig·· 10 小时前AI 评分31
评估 LLM 生成的世界模型能否支撑神经符号推理
Evaluating LLM-Generated World Models for Neuro-Symbolic Reasoning
AI 导读
研究测试五个 LLM 能否将自然语言情境生成为部分可观测随机博弈形式的世界模型，并发布含 44 个场景的基准，从机械有效性、参考相对结构一致性和语义标准三个维度评估 410 次首轮生成。
正文 · AI 翻译
摘要：形式化世界模型可以支持规划、验证和安全推理，但从开放式的自然语言情境中构建它们很困难，尤其是在多智能体环境中，可能有多种形式化方案都看似合理。我们研究五个 LLM 能否生成此类世界模型，即部分可观测随机博弈，以及机械有效性是否足以确立所得模型忠实表示了预期的决策问题。我们引入一个包含 44 个场景的基准，涵盖博弈、情境和文化设定，并从三个维度评估生成的世界模型：机械有效性、参照相对的结构一致性和语义标准。在三条实证轨道中，我们分析了 410 次首轮生成。在有参照的博弈轨道中，134/135 个生成的世界模型通过了严格的机械审计，但平均置换不变结构 F1 仅为 0.366，只有 28/134 个机械有效的模型与作者编写的参照完全匹配。在文化轨道中，明确写出国家名称会改变大多数 LLM 生成的结构表示，而自动语义分数仅产生小幅变化。这些结果表明，可执行性是 LLM 生成世界模型的必要但不充分标准：机械有效的模型在下游神经符号推理和规划所使用的结构上仍可能存在显著差异。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.14419 [cs.AI] |
| （或本版本的 arXiv:2611.14419v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.14419 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Anidipta Pal [查看邮箱]
[v1]
2026年11月10日星期二 17:58:12 UTC（14,426 KB）
来源：arXiv cs.AI · arxiv.org