arXiv cs.CL· Xuning He, Kai Fan, Runyu Zhang, Binghuan Wang, Yuxiang Zhang, Xue Jiang, Yihong Dong·· 10 小时前AI 评分38
面向长程 LLM 智能体的 Agentic Soft-Token 上下文压缩方法 ASTC
In-Model Context Compression with Agentic Soft Tokens for Long-Horizon LLM Agents
AI 导读
研究者提出 Agentic Soft-Token Compression（ASTC），一种无需训练的压缩方法，利用模型原生的混合 Gated Delta Network（GDN）-attention 循环动态判断已吸收信息，将其作为 agentic soft tokens 前向携带，同时以 hard tokens 保留精确值。
正文 · AI 翻译
摘要：长时程 LLM 智能体在解决复杂且持续的任务中发挥着重要作用，其交互上下文不断增长。然而，这些累积的上下文会带来大量计算开销，并掩盖与关键决策相关的证据。现有方法通常训练外部压缩器或上下文管理智能体，将上下文重写为更短的硬 token 序列，但这种外部选择可能与 LLM 不断演化的表示不一致，并且必然是有损的。本文提出 Agentic Soft-Token Compression（ASTC），一种无需训练的压缩方法，在 LLM 智能体内使用软 token 处理长时程任务。具体而言，ASTC 利用模型原生的循环动态来确定已被吸收的信息，借助常用的混合 Gated Delta Network（GDN）-attention 实现。随后，它将这些信息作为智能体软 token 向前传递，同时将精确值保留为硬 token。由此得到的紧凑序列减少了后续层的计算，并产生可复用的 KV 缓存，从而在智能体的轨迹中扩展节省效果。长时程任务上的大量实验表明，ASTC 在端到端 Attention Pairs 最多减少 50.68% 的情况下，达到或超过未压缩智能体的准确率，而训练过的压缩器每个成功任务需要多 15.4 至 103.7 倍的 Attention Pairs。这些发现凸显了智能体软 token 作为一种模型原生方式，可在任务表示演化过程中将已吸收的上下文向前传递。
| 评论： | 26 页，9 幅图，11 张表。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG）；神经与进化计算（cs.NE） |
| 引用为： | arXiv:2610.41291 [cs.CL] |
| （或 arXiv:2610.41291v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41291 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xuning He [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 05:52:25 UTC（1,541 KB）
来源：arXiv cs.CL · arxiv.org