arXiv cs.AI· Aman Mehta, Anupam Datta·· 3 天前AI 评分36
Plans Fade Fast：为何上下文管理是 LLM 智能体的承重结构
Plans Fade Fast: Why Context Management Is Load-Bearing for LLM Agents
AI 导读
研究提出 replay pairing 方法，固定动作-观察轨迹，对比有无计划交换时的动作前隐藏状态，发现 Llama-3.1-70B 在 ALFWorld 上计划后第一个动作到第二个动作的平均对比度下降 4.1 倍，Llama-3.1-8B 下降 5.6 倍。
正文 · AI 翻译
摘要：上下文管理器会对旧消息进行摘要或驱逐，使智能体能够在有限窗口之外运行。这带来了一个可靠性问题：移除仍在塑造模型计算的历史可能会改变后续动作，而保留全部内容又会破坏压缩效果。我们研究计划，因为智能体会在早期创建计划，并预期在之后使用它们，但仅凭行为上的成功无法揭示后续调用是否仍依赖于计划交换。我们做出四项贡献。第一，我们引入重放配对，它保持动作-观察轨迹固定，并比较有和没有计划交换时的动作前隐藏状态。我们表明，在 ALFWorld 中的 Llama-3.1-70B 上，15 个采样层的平均对比度从计划后的第一个动作到第二个动作下降了 4.1 倍；Llama-3.1-8B 显示出类似的 5.6 倍下降。第二，我们表明，使用第 32 层隐藏状态的简单线性模型在完全留出的任务上预测后续对比度的效果优于仅知道动作调用偏移的基线（R^2 = 0.847 对 0.575）。第三，我们识别出限制这种测量的混杂因素：配对历史在长度、token 位置和话语结构上不同，并且重放的推理可能重新引入源自计划的文本。因此，推理轨迹需要对称控制，而原生 Qwen3 表明 Llama 的时序模式并非普遍适用。第四，在一项单独的描述性压缩测试中，我们发现 ALFWorld 运行成功率的汇总结果为：完整历史 56.7%，朴素驱逐 22.0%；仅保留或重新呈现计划并不能弥补这一差距。重放配对测量的是对保留一次交换的敏感性，而不是孤立的计划内容或后续驱逐。它为研究人员提供了一种具体的审计工具，并表明上下文策略应保留更广泛的任务状态，而不仅仅是计划。
| 评论： | 15 页，6 幅图。COLM 2026 窗口之外上下文研讨会 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2606.22953 [cs.AI] |
| （或 arXiv:2606.22953v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.22953 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Aman Mehta [查看电子邮件]
[v1]
2026 年 6 月 22 日星期一 07:30:47 UTC（127 KB）
[v2]
2026 年 10 月 12 日星期一 21:34:14 UTC（147 KB）
来源：arXiv cs.AI · arxiv.org