arXiv cs.CL· Shiwen Qin, Cameron Barker, Henry Gouk, Elliot J. Crowley, Shay B. Cohen, Mirella Lapata, Miao Li·· 2 天前AI 评分31
超越上下文长度：刻画长上下文推理的难度
Beyond Context Length: Characterising the Difficulty of Long-Context Reasoning
AI 导读
研究者构建了 LURCH 基准，包含 6,550 个多领域问答实例及支撑证据与推理图，用证据范围、证据分散度和推理深度三个属性量化长上下文推理难度。对闭源与开源权重模型的评测显示，在固定上下文长度下，这三个属性均与模型表现强负相关；上下文变长时，证据分散的样本性能急剧下降，而证据集中的样本相对稳定。三个属性还会叠加放大难度，三者均中等偏高的题目比仅一项极端的题目更难。
正文 · AI 翻译
摘要：长上下文语言模型支持越来越长的上下文窗口，而评估通常将上下文长度视为难度的主要指标。然而，仅凭上下文长度无法解释模型为何在需要对复杂信息进行推理的长上下文任务上失败。长度相同的上下文可能带来截然不同的挑战：一个任务可能仅凭单个局部段落即可解决，也可能需要整合分布在整个上下文中的证据。我们通过三个属性定量刻画这种难度：证据范围，即必须找到多少必要信息；证据分散度，即这些信息在上下文中散布的广泛程度；以及推理深度，即从中推导出答案需要多少个依赖步骤。我们构建了 LURCH，一个多领域问答基准，包含 6,550 个实例，并附有支持证据和推理图，使这三个属性均可被量化。对专有模型和开放权重模型的评估表明：(1) 在固定上下文长度下，我们的三个属性均与模型性能呈强烈负相关；(2) 随着上下文长度增加，在证据分散的样本上性能急剧下降，而在证据局部化的样本上则保持相对稳定；(3) 难度会跨属性叠加，因为三个属性均处于中等偏高水平的题目，比仅在一个属性上达到极端值的题目更难。这些发现确立了证据范围、分散度和推理深度作为长上下文推理难度的度量，它们是对上下文长度的补充。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22067 [cs.CL] |
| （或 arXiv:2610.22067v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22067 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shiwen Qin [查看邮箱]
[v1]
2026年10月15日星期四 15:28:33 UTC（423 KB）
来源：arXiv cs.CL · arxiv.org