论文称上下文是流水线而非窗口，实测 LLM 智能体工具输出截断损耗

查看 PDF HTML（实验性）

摘要：LLM 智能体通常用两个数字来评判：上下文窗口的大小，以及最终答案的正确率。这两个数字都忽略了第三件事：在模型看到工具输出之前，有多少内容已经丢失。我们在一个真实的工具使用型智能体中测量了这种损失。该智能体通过阅读 Linux 内核跟踪来定位注入故障的原因。上下文窗口几乎为空：在 720 次运行中，单次最大的提示仅使用了 5.75%。然而，所有工具结果中有三分之一（11,189 条中的 3,827 条）在到达模型之前就被截断，并且每个被截断的结果都变成了损坏的 JSON。该框架通过按固定长度切分 JSON 文本来截断每个结果。这并不会均匀地缩短结果，而是会删除靠近末尾的任何数据。有一个字段仅在 4.7% 的调用中到达模型。而同样这些结果中的第二个字段，却在 99.3% 的调用中到达模型。哪个字段包含故障证据，取决于故障进程启动的时间：是在跟踪的早期还是晚期。智能体的诊断准确率也与这一划分相符。因此，我们进行了受控实验来检验一个问题：数据丢失是否导致了准确率下降？本文做出四项贡献。第一，我们将智能体的上下文建模为五阶段流水线，并测量了每个阶段的失败情况。第二，我们重放了 864 条真实工具结果，其中包括一条来自生产跟踪的结果，其中已发布的截断删除了故障证据的全部 128 条记录。第三，受控实验表明，截断的真实代价首先表现为额外工作，而不是错误答案：工具调用增加 43%，计算量翻倍，产出率从 0.61 降至 0.31。当智能体有另一条途径到达答案时，它仍然能找到正确答案。第四，对七个智能体框架的调查发现，有两个框架以同样不安全的方式截断工具输出。数据截断是否真正导致准确率下降，仍是一个开放问题。

提交历史

来自：Yuvraj Sehgal [查看电子邮件]
[v1] 2026 年 10 月 26 日星期一 18:25:42 UTC（28 KB）