arXiv cs.AI· Jiayu Ding, Shuming Ma, Lei Cui, Nanning Zheng, Furu Wei·· 1 天前AI 评分31
LongReasonArena：面向大语言模型的长推理基准
LongReasonArena: A Long Reasoning Benchmark for Large Language Models
AI 导读
研究者提出 LongReasonArena，一个专门评估 LLM 长推理能力的基准，任务要求模型执行多步算法（含检索与回溯），推理长度可任意扩展至 100 万 token。评测显示开源与闭源模型均受显著挑战，GPT-5 在 Level 3 上准确率仅 27.8%，且准确率随预期推理步数对数呈线性下降。代码与数据已公开。
正文 · AI 翻译
摘要：现有针对大语言模型（LLM）的长上下文基准侧重于评估对长输入的理解能力，而忽视了对长推理能力的评估。为填补这一空白，我们提出了 LongReasonArena，这是一个专门用于评估 LLM 长推理能力的基准。我们的任务要求模型通过执行多步算法来解决问题，这些算法反映了长推理的关键方面，如检索与回溯。通过控制输入，所需的推理长度可以任意缩放，在最困难的任务中推理长度可达 100 万 token。大量评估结果表明，LongReasonArena 对开源和专有 LLM 都构成了重大挑战。例如，即便是 GPT-5 在第 3 级上也仅达到 27.8% 的准确率。进一步分析还揭示，准确率随预期推理步数的对数呈线性下降。我们的代码和数据可在 此 https URL 获取。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2508.19363 [cs.CL] |
| （或 arXiv:2508.19363v2 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2508.19363 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Findings of the Association for Computational Linguistics: EMNLP 2026, pp. 2470-2485, 2026 |
| 相关 DOI： | https://doi.org/10.18653/2026.findings-emnlp.120
链接到相关资源的 DOI |
提交历史
来自：Jiayu Ding [查看邮箱]
[v1]
2025年8月26日 星期二 18:41:53 UTC（364 KB）
[v2]
2026年11月11日 星期三 09:42:33 UTC（376 KB）
来源：arXiv cs.AI · arxiv.org