KV-streams：面向智能体强化学习的高效上下文压缩策略
KV-streams for Efficient Compaction in Agentic Reinforcement Learning
研究者提出 KV-streams，一种与任意压缩策略兼容的即插即用方法，通过将 KV cache 向前流式传递而非每次压缩后清空，在三种压缩策略下实现 2.6 至 5 倍的训练墙钟加速。流式 KV cache 还可充当循环状态，携带已从上下文中消失的信息，且仅靠 RL 即可让该行为涌现。
作者：Emiliano Penaloza、Dane Malenfant、Dheeraj Vattikonda、Roger Creus Castanyer、Siddarth Venkatraman、Abhay Puri、Jonathan Light、Matthew James Sargent、Augustine N. Mavor-Parker、Massimo Caccia、Lucas Caccia、Glen Berseth、Esmeralda S. Whitammer、Alessandro Sordoni、Minseon Kim、Marc-Alexandre Côté、Laurent Charlin、Guillaume Lajoie
摘要：扩展智能体 LLM 的视野受限于需要在 GPU 内存中容纳越来越长的上下文轨迹。上下文压缩一直是缓解这一问题最流行的机制，可使给定轨迹的 GPU 内存占用保持恒定。遗憾的是，大多数压缩策略依赖于多次预填充 LLM 上下文，从而阻碍了训练吞吐量。为缓解这一瓶颈并实现高效的可训练压缩，我们提出 KV-streams，一种与任何压缩策略兼容的即插即用策略，可大幅提高吞吐量，同时未表现出阻碍性能的迹象。KV-streams 通过将 KV 缓存向前流式传输，而非在每次压缩后将其清空，从而实现可扩展的压缩。我们表明，KV-streams 支持三种不同的压缩策略，在训练中实现了 2.6 至 5 倍的挂钟时间加速。除效率之外，我们发现流式传输的 KV 缓存可以充当循环状态，携带早已从上下文中消失的信息。具体而言，在受控设置中，我们表明与先前工作相反，仅靠 RL 就足以让这种行为涌现。总体而言，我们表明 KV-streams 是任何后训练流程中高效且轻量的即插即用补充。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.35750 [cs.LG] |
| （或 arXiv:2609.35750v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.35750 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Emiliano Penaloza [查看电子邮件]
[v1]
2026年9月28日星期一 17:57:42 UTC（17,726 KB）
[v2]
2026年9月29日星期二 17:52:03 UTC（17,691 KB）
[v3]
2026年10月15日星期四 03:45:57 UTC（17,694 KB）
来源：arXiv cs.AI · arxiv.org