arXiv cs.CL· Minh-Nam Tran, Abulhair Saparov·· 10 小时前AI 评分38
GraphNIAH：面向真实世界图的长上下文推理基准
GraphNIAH: A Benchmark for Long-Context Reasoning over Real-World Graphs
AI 导读
研究者提出 GraphNIAH，一个基于被评测模型知识截止日期之后发表的论文真实引用关系动态构建的长上下文基准，可避免数据合成与基准污染。用其评测 GPT-5.6、Gemini-3 和 Qwen3.5 家族的八个 LLM 发现，问题深度达 16 和 32 时 GPT-5.6 与 Qwen3.5 的 YES/NO 问答已不优于随机猜测，且多倾向回答 NO；八个模型中有四个无法正确回答任何计数题。
正文 · AI 翻译
摘要：大海捞针（NIAH）基准被引入作为测试，用于衡量模型在大量输入文本中查找小型相关事实的能力。然而，现有的 NIAH 基准各自都存在以下一项或多项局限：（1）依赖合成数据，因此其评估可能无法推广到真实世界场景；（2）复用先前发布的数据集，导致基准污染的风险；（3）依赖人工标注，这需要人力来创建和更新数据，且容易在未来发生基准污染；（4）对长上下文多跳推理进行了不切实际的简化，其中每一步在给定前几步的情况下都是平凡的，而真实世界的推理往往需要在多条可能的证明路径上进行规划。为解决这些局限，我们引入了 \Benchmark，这是一个动态基准，基于被评估模型知识截止日期之后发表的科学论文之间真实的引用关系构建，它利用真实世界信息，同时确保没有基准污染。全自动的基准构建流水线对这些论文形成的引用图采样代表性子图，并将每个子图转换为具有可验证答案的长上下文问答示例。我们使用 GraphNIAH 评估了来自 GPT-5.6、Gemini-3 和 Qwen3.5 系列的八个 LLM。我们发现，随着问题需要更长的推理路径，准确率会下降：在问题深度为 16 和 32 时，GPT-5.6 和 Qwen3.5 模型回答 YES/NO 问题的表现并不比随机猜测更好，主要是回答 NO；八个模型中有四个未能正确回答任何计数示例，而其他模型随着子图规模增大而表现变差。这些发现表明，当前的 LLM 往往在到达答案之前就停止搜索其上下文中的引用关系，尽管它们所需的每一个事实都在上下文中。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41704 [cs.CL] |
| （或 arXiv:2610.41704v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41704 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Minh-Nam Tran [查看电子邮件]
[v1]
2026年10月30日星期五 13:07:47 UTC（788 KB）
来源：arXiv cs.CL · arxiv.org