arXiv cs.AI· Noel Thomas·· 2 天前AI 评分24
ChaosBench-Logic v2：大规模评估 LLM 对动力系统的逻辑推理
ChaosBench-Logic v2: Evaluating LLM Logical Reasoning over Dynamical Systems at Scale
AI 导读
ChaosBench-Logic v2 是一个包含 40,886 道题、覆盖 165 个动力系统、27 个 FOL 谓词与 78 条公理边的基准，并配套 CARE 评估协议。
正文 · AI 翻译
摘要：二元推理基准上的标准准确率掩盖了关键的失败模式：先验坍缩、改写下的不一致性，以及无法对参数依赖的动态进行推理。我们提出 ChaosBench-Logic v2，一个包含 40,886 个问题、覆盖 165 个动力系统、27 个 FOL 谓词和 78 条公理边的基准，以及 CARE（校准与对抗鲁棒评估），一个能揭示这些病理的协议。评估 14 个模型后，我们发现即使对于前沿模型，状态转移推理仍接近随机水平（MCC = 0.05），而在给定前提下的 FOL 演绎达到 MCC = 0.52。按族分解显示，专有模型的优势集中在跨指标（+0.40）和一致性任务上，而开源 Qwen 2.5-32B 在指标诊断上占优（0.91 对 0.45）。两个模型在分岔问题上表现出负 MCC，经混淆矩阵分析确认为系统性反相关。
| 评论： | 14 页，8 幅图。发表于 ICLR 2026 LLM Reasoning 研讨会。v2：更正了参考文献中的书目错误 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.24305 [cs.LG] |
| （或 arXiv:2605.24305v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.24305 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Noel Thomas [查看邮箱]
[v1]
2026 年 5 月 23 日星期六 00:34:17 UTC（172 KB）
[v2]
2026 年 10 月 14 日星期三 18:41:06 UTC（172 KB）
来源：arXiv cs.AI · arxiv.org