arXiv cs.CL· Tianyu Fu, Ruoxi Wang, Zihan Min, Zhongqi Ren, Zhihao Li, Tengxuan Liu, Shengxu Mu, Hanling Zhang, Yu Wang·· 11 小时前AI 评分38
面向智能体的缓存工程：AKV 服务引擎与 drop/repos 缓存操作
Cache Engineering for Agents
AI 导读
研究提出“缓存工程”方案，让 LLM 智能体通过 drop 和 repos 两种操作直接控制活跃 KV cache，无需修改轨迹或重新预填充已保留上下文。配套的 AKV 服务引擎提供无状态接口并内部管理缓存复用、驱逐与恢复，实验显示工具响应滚动 drop 策略使平均基准分数提升 1.7 分、平均成本降低 27.7%，输出吞吐最高 1.2 倍、P95 请求延迟加速 1.5 倍。
正文 · AI 翻译
摘要：大型语言模型（LLM）智能体能够处理日益复杂的任务，在漫长的观察与动作轨迹中导航。随着这些轨迹增长，键值（KV）缓存的 I/O 和存储成为主要成本。轨迹还可能超出 LLM 的最大上下文长度，需要对活跃缓存的增长进行控制。先前的工作使用上下文工程，通过裁剪或总结历史来减小缓存大小。然而，修改轨迹前缀会使后续缓存状态失效，并触发对保留上下文的昂贵重新预填充。当保留的上下文过少以限制重新预填充成本时，任务准确率也可能下降。我们提出缓存工程作为一种新方案。它允许智能体直接控制其活跃 KV 缓存，而无需修改轨迹或重新预填充保留的上下文。具体而言，智能体可以主动使用 drop 将选定的缓存排除在未来的注意力之外，并使用 repos 调整保留键的位置编码。我们将这些缓存操作形式化，并指出历史依赖性是一个服务挑战：相同的 token 序列在不同的缓存操作序列下可能产生不同的缓存状态，使得前缀匹配不足以实现正确的缓存复用。因此，我们共同设计了 AKV 服务引擎。它提供与现有服务 API 兼容的无状态接口，同时在内部管理有状态的缓存复用、驱逐和恢复。实验表明，与传统的阈值触发总结相比，工具响应滚动丢弃缓存策略将平均基准分数提高 1.7 分，并将平均成本降低 27.7%。借助 AKV，它实现了高达 1.2 倍的输出吞吐量和 P95 请求延迟 1.5 倍的加速。缓存策略的递归自我改进在专家设计的基础上进一步将成本降低 7.1%。我们的代码位于 此 https URL。
| 学科： | 计算与语言（cs.CL） |
| MSC 分类： | 68T42, 68T50, 68M20 |
| ACM 分类： | I.2.7; I.2.11 |
| 引用为： | arXiv:2610.28577 [cs.CL] |
| （或 arXiv:2610.28577v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.28577 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tianyu Fu [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 17:32:24 UTC（328 KB）
来源：arXiv cs.CL · arxiv.org