用 Prolog 探测语言模型的长程演绎推理能力

Probing for Long-Horizon Deductive Reasoning Capabilities in Language Models with Prolog

AI 导读

研究团队构建了 ProloNg 合成测试平台，用 Prolog 演绎逻辑考察 LLM 的长程推理能力，最难题目的推理深度达 22、上下文长度 62k。他们测试了 5 个前沿 LLM 家族的 8 个推理模型，发现性能随推理深度增加大幅下降，多数模型在深度超过 10 后接近随机水平。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：当前的前沿 LLM 理论上可以处理 100 万 token 或更长的上下文。但它们在多大程度上能超越简单的检索，对如此长的上下文进行更深层的推理？我们实证研究了 LLM 的长程推理能力，聚焦于以 Prolog 表达的逻辑演绎。我们构建了 ProloNg，一个用于探究 Prolog 长推理的合成测试平台，它系统地改变问题的复杂度（推理深度），其中最难的案例推理深度为 22，上下文长度为 62k。我们研究了来自 5 个前沿 LLM 家族的 8 个推理模型，发现随着推理深度增加，性能大幅下降，大多数模型在深度超过 10 后接近随机水平。

评论：	EMNLP 2026 Findings
主题：	计算与语言（cs.CL）
引用为：	arXiv:2610.11592 [cs.CL]
	（或 arXiv:2610.11592v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.11592 arXiv 颁发的 DOI，经由 DataCite（待注册）

提交历史

来自：Hadeel Al-Negheimish [查看邮箱]
[v1] 2026 年 10 月 8 日星期四 09:42:07 UTC（1,152 KB）

来源：arXiv cs.CL · arxiv.org