arXiv cs.AI· Yucheng Wu, Jundong Xu, Mingzhen Ju, Yue Yu, Chenpeng Wang, Haoxuan Li, Liangming Pan·· 12 小时前AI 评分34
HOLogicBench：评估 LLM 高阶逻辑推理能力的新基准
HOLogicBench: Evaluating Higher-Order Logical Reasoning in LLMs
AI 导读
研究者推出 HOLogicBench，一个含 1,379 个实例的基准，系统评估 LLM 的五类高阶逻辑推理操作，题目经 Isabelle/HOL 形式化并由证明验证答案。在 16 种模型配置上平均准确率为 53.86%，最佳配置达 65.99%。分析显示模型生成的推理与有效推导对齐有限，且易受最小反事实扰动影响。
正文 · AI 翻译
摘要：现有的 LLM 逻辑推理基准大多聚焦于固定谓词和规则下的对象级推理，对规则与策略的高阶推理探索不足。我们提出 HOLogicBench，一个包含 1,379 个实例的基准，系统评估五种代表性高阶推理操作，并提供 Isabelle/HOL 形式化与经证明验证的答案。除答案准确率外，HOLogicBench 还为每个实例提供求解器验证的参考推理路径，从而能够针对有效推导对模型生成的推理进行细粒度评估。在 16 种模型配置中，平均准确率为 53.86\%，最佳配置达到 65.99\%。进一步分析表明，LLM 与有效推导的一致性有限，易受最小反事实扰动影响，并在不同高阶推理类型上表现出不同的失败模式。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2606.23238 [cs.AI] |
| （或 arXiv:2606.23238v3 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.23238 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yucheng Wu [查看邮箱]
[v1]
2026 年 6 月 22 日星期一 12:23:54 UTC（1,154 KB）
[v2]
2026 年 6 月 23 日星期二 08:36:37 UTC（1,154 KB）
[v3]
2026 年 10 月 26 日星期一 15:08:45 UTC（899 KB）
来源：arXiv cs.AI · arxiv.org