研究者发布高阶逻辑推理基准 HOLogicBench
热点事件持续更新
研究者发布高阶逻辑推理基准 HOLogicBench
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
Yucheng Wu 等作者提出并发布高阶逻辑推理基准 HOLogicBench，含 1,379 个实例，系统评估大语言模型的五类高阶逻辑推理操作，题目经 Isabelle/HOL 形式化并由证明验证答案。 在 16 种模型配置上，平均准确率为 53.86%，最佳配置达 65.99%。作者分析称，模型生成的推理与有效推导对齐有限，且易受最小反事实扰动影响。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
HOLogicBench：评估 LLM 高阶逻辑推理能力的新基准报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.AIHOLogicBench：评估 LLM 高阶逻辑推理能力的新基准
研究者推出 HOLogicBench，一个含 1,379 个实例的基准，系统评估 LLM 的五类高阶逻辑推理操作，题目经 Isabelle/HOL 形式化并由证明验证答案。在 16 种模型配置上平均准确率为 53.86%，最佳配置达 65.99%。分析显示模型生成的推理与有效推导对齐有限，且易受最小反事实扰动影响。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。