arXiv cs.CL· Chaogui Gou·· 2 天前AI 评分27
从长上下文到选择性记忆：面向大语言模型以记忆为中心的压缩综述
From Long Context to Selective Memory:A Survey of Memory-Centric Compression for Large Language Models
AI 导读
这篇综述将长上下文压缩重新定义为推理时的记忆管理问题，区分直接参与模型计算的计算活跃记忆与处于计算路径之外的计算非活跃记忆，并把 offloaded KV cache、持久前缀缓存和预计算 KV 状态视为激活路径上的中间状态。
正文 · AI 翻译
摘要：长上下文能力已成为大语言模型（LLM）处理复杂任务的关键，然而持续扩展上下文窗口并不能消除推理时产生的计算、存储和信息选择压力。现有关于提示压缩、KV 缓存管理、高效服务、检索增强和智能体记忆的研究通常被孤立讨论，导致存储与计算之间的信息流动尚未得到充分理解。本综述将长上下文压缩重新表述为一种用于分配推理时资源的内存管理问题。我们区分了直接参与模型计算的计算活跃内存，与位于计算路径之外但可被存储、检索、更新或遗忘的计算非活跃内存，并将卸载的 KV 缓存、持久前缀缓存和预计算的 KV 状态描述为激活路径上的中间状态。在此基础上，我们将写入、卸载、召回、检索与注入、物化、逐出、整合和遗忘表述为信息生命周期内的状态转换，并引入一个预算成本模型，将这些操作置于单一成本账户中。由此形成的框架统一了短期上下文压缩、长期记忆管理及其之间的转换，并表明核心挑战不仅仅在于减少信息量，还在于决定哪些信息应以何种形式、在何时参与代价高昂的推理。我们进一步总结了评估维度、基准缺口和开放挑战，并主张未来研究应从静态的、逐点的压缩转向动态的、可治理的、生命周期感知的记忆管理。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21165 [cs.CL] |
| （或使用 arXiv:2610.21165v1 [cs.CL] 获取此版本） | |
| https://doi.org/10.48550/arXiv.2610.21165 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chaogui Gou [查看电子邮件]
[v1]
2026年10月15日星期四 03:24:36 UTC（109 KB）
来源：arXiv cs.CL · arxiv.org