arXiv cs.CL· Shijie Xia, Yikun Wang, Zhen Huang, Pengfei Liu·· 14 小时前AI 评分35
诊断并缓解长程搜索中的上下文腐化问题
Diagnosing and Mitigating Context Rot in Long-horizon Search
AI 导读
研究系统考察四个旗舰模型在三个基准上的长程搜索表现，发现模型在耗尽上下文窗口前很早就放弃或给出不确定的错误答案，作者将这两种失败模式称为"无结论搜索失败"。对七种上下文管理方法的分析表明，它们本质上是测试时扩展策略，通过降低峰值上下文长度把模型从失败引向继续探索；行为感知过滤的并行采样策略在三种聚合方法上带来 2.6% 至 4.9% 的性能提升。
正文 · AI 翻译
摘要：随着大型语言模型（LLM）越来越多地部署在长程搜索任务中，超长上下文已成为常态。上下文长度增加会削弱模型能力，这一担忧被称为上下文腐化，已成为此类应用广泛认可的问题。然而，在深度搜索场景中，模型在超长上下文下究竟如何失败，以及现有方法能在多大程度上缓解此类失败，仍不清楚。通过对三个基准上的四个旗舰模型进行系统性研究，我们发现了一个此前被忽视的现象：在超长上下文下，模型早在耗尽上下文窗口之前就会放弃或给出不确定的错误答案。我们将这两种失败模式称为无结论搜索失败。我们表明，即使对于简单和中等难度的查询，这些也是常见的失败模式，说明模型在其有能力解决的查询上过早终止。基于这些发现，我们重新审视了缓解上下文腐化的方法，包括上下文管理和并行采样。对于上下文管理，我们分析了三大类共七种方法，并表明它们本质上是测试时扩展策略，通过降低峰值上下文长度，将模型从无结论搜索失败引导向进一步探索。我们还提供了依模型而定的方法选择原则。对于并行采样，我们开发了一种行为感知的过滤策略，并在三种聚合方法上观察到 2.6% 至 4.9% 的性能提升。
| 主题： | 信息检索（cs.IR）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2606.29718 [cs.IR] |
| （或 arXiv:2606.29718v3 [cs.IR] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.29718 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shijie Xia [查看邮箱]
[v1]
2026年6月29日 星期一 02:53:28 UTC（3,601 KB）
[v2]
2026年8月4日 星期二 16:37:54 UTC（5,990 KB）
[v3]
2026年10月25日 星期日 15:23:22 UTC（5,225 KB）
来源：arXiv cs.CL · arxiv.org