跳到正文
arXiv cs.AI· Ziv Kfir, Ido Kfir·· 4 小时前AI 评分34

KV-LTM:以持久化每会话 KV 缓存作为个人助理的长期记忆

KV-LTM: Persistent Per-Session KV Caches as Long-Term Memory for Personal Assistants

AI 导读

研究者提出 KV-LTM,将每个会话的原始文本与其 KV 缓存一同存储,回答时直接恢复缓存会话并追加问题,从而避免重新预填充。按 30K token/天场景测算,每用户年存储约 0.34-3.6 TB,而原始文本仅约 49 MB,单 token 状态约 31K-328K 字节。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:个人助理会积累数月的对话,但如今的长时记忆栈会在问题与其证据之间引入推导或选择。在 LongMemEval 上进行的一项系统级对比中,两个商业助理的得分远低于同一模型离线读取历史记录的表现 [1],这与写入与读取之间的内容丢失相一致,但并未将其单独隔离出来。我们提出 KV-LTM:一种记忆层级,在固定的读取模型下存储每个会话的原始文本及其 KV 缓存,通过恢复缓存的会话并追加问题来作答。KV-LTM 与检索和索引是互补关系,而非替代关系。文本是记录性记忆;缓存是无重算的预填充加速器,可优雅地降级为文本。我们详细说明了该设计:存储记录、基于预算的保留策略、仅追加的读取路径以及有界聚合。我们对其进行了分析性规模估算:在固定的 BF16 全注意力(GQA)和潜在缓存 MLA 配置下,每 token 状态跨度约为 31K–328K 字节(固定的 KDA+MLA 混合配置有所不同:约为 8.1K 字节/token 外加固定的每会话循环项),在声明的每天 30K token 场景下,每用户年约为 0.34–3.6 TB,而原始文本约为 49 MB;每次查询的成本被建模为按情形区分的传输、注意力、解码、聚合和计算。我们定义了一个无需持久缓存实现即可进行逻辑 QA 评估的评估协议:每会话预填充在同一模型/输入状态契约和理想算术下模拟有效的缓存复用,并设有具名实验组、受控基线和预注册的读取模型门槛;另有一项独立的最小真实缓存重放测试数值等价性并测量成本轴,其结果不作预设。KV-LTM 在声明的保留预算内,以存储换取避免的重新预填充计算和写入时保真度。
评论: 45 页
主题: 人工智能(cs.AI)
引用为: arXiv:2611.21998 [cs.AI]
  (或 arXiv:2611.21998v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.21998

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Ziv Kfir [查看电子邮件]
[v1] 2026 年 11 月 16 日星期一 23:30:00 UTC(41 KB)

来源:arXiv cs.AI · arxiv.org