ChaosBench-Logic：面向混沌动力系统逻辑与符号推理的基准

查看 PDF HTML（实验性）

摘要：大型语言模型（LLM）在自然语言任务上表现出色，但在需要精确逻辑和符号推理的领域仍然脆弱。混沌动力系统提供了一个特别严苛的测试，因为混沌是确定性的，却常被误解为随机性或复杂性。我们提出了 ChaosBench-Logic，一个使用统一的一阶逻辑（FOL）本体论评估 LLM 在 30 个多样动力系统上推理能力的基准。每个系统都标注了 11 个语义谓词的真值赋值，并跨七个推理类别生成了 621 个问题，包括多跳蕴含、跨系统类比、反事实推理、偏见探测和多轮对话。我们定义了逻辑准确性、蕴含一致性、对话连贯性和矛盾的指标，并发布了开源评估流程。初步实验表明，GPT-4、Claude 3.5 Sonnet、Gemini 2.5 Flash 和开源 LLaMA-3 70B 等前沿 LLM 达到了 91-94% 的逐项准确率，但在组合项上仍得分为 0%，并表现出脆弱的全局连贯性。对话级准确率从 53.1%（GPT-4 CoT）到 75.5%（LLaMA-3 零样本）不等。ChaosBench-Logic 为诊断此类失败提供了一个严格的测试平台，并为开发改善 LLM 科学推理的神经符号方法奠定了基础。

评论：	7 页，0 图，被 AAAI-26 Bridge Program: Logical and Symbolic Reasoning in Language Models 接收（camera-ready）。v2：更正了参考文献中的书目错误
主题：	人工智能（cs.AI）；信息论（cs.IT）
引用为：	arXiv:2601.01982 [cs.AI]
	（或 arXiv:2601.01982v2 [cs.AI] 用于此版本）
	https://doi.org/10.48550/arXiv.2601.01982 arXiv 颁发的 DOI，通过 DataCite
期刊参考：	AAAI 2026 Bridge Program on Logical and Symbolic Reasoning in Language Models，新加坡，2026 年 1 月

提交历史

来自：Noel Thomas [查看电子邮件]
[v1] 2026 年 1 月 5 日星期一 10:36:40 UTC（24 KB）
[v2] 2026 年 10 月 14 日星期三 18:40:45 UTC（24 KB）