arXiv cs.AI· Egor Pakhomov, Erik Nijkamp·· 10 天前AI 评分22
Agent 历史能否预测上下文压缩的伤害?TRACE 配对重放语料上的有限效应
Does an Agent's History Tell You When Compaction Will Hurt? A Modest, Bounded Effect on the TRACE Paired-Replay Corpus
AI 导读
研究基于 TRACE 公开语料中 590 个 AppWorld 压缩边界,检验智能体近期行为能否预测压缩带来的伤害,发现边界前历史仅有微弱预测力。最佳扩展协议触发器在留出集上 AUROC 为 0.66,同边界复现为 0.72;最佳冻结可解释触发器避开 21% 有害边界,同时保留 84% 压缩机会。
正文 · AI 翻译
摘要:许多长时程智能体会按全局规则压缩其上下文,通常是 token 预算,而对智能体当时正在做什么视而不见。我们探究智能体近期的行为能否预测压缩何时会造成损害。TRACE 的公开语料库包含 590 个由测试框架触发的 AppWorld 压缩边界,它从重新执行的前缀状态出发,分别在压缩前上下文和摘要下重放每个边界,并记录后续动作的负担:报错的调用或重复已做过的调用。我们发现,边界前的历史对压缩后损害的预测能力很弱。按前缀位置预先设定的内部对比是一个宽泛的零结果,而其背后朴素的“已写入”标签实际上衡量的是轨迹阶段。最佳的扩展协议触发器在留出集上达到 AUROC 0.66(在复现集自身标签上为 0.64),而同边界复现为 0.72;最佳的冻结、可解释触发器避免了 21% 的有害(正负担)边界,同时保留了 84% 的压缩机会,并在计数上超过随机规则预期,但在负担质量上未超过(一项事后比较)。在匹配保留率下,最佳触发器是否优于 token 预算规则无法在该发布版本上评估。我们说明了应发布哪些语料库来回答这一问题。
| 评论: | 被 NeurIPS 2026 的 IAB 研讨会(解读智能体行为)接收(非存档)。20 页 |
| 主题: | 人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2610.08722 [cs.AI] |
| (或 arXiv:2610.08722v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.08722 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Egor Pakhomov [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 17:26:57 UTC(68 KB)
来源:arXiv cs.AI · arxiv.org