arXiv cs.AI· Hanchen Xia, Baoyou Chen, Yutang Ge, Naihao Deng, Senqiao Yang, Zilong Dong, Weihao Yuan, Siyu Zhu·· 9 天前AI 评分34
REMORY：用残差记忆网络实现上下文压缩
REMORY: Learning Residual Memory for Context Compaction
AI 导读
REMORY 是一种神经记忆网络，在文本摘要之外生成一段有界的软记忆 token，让冻结的 LLM 逼近使用完整历史时的输出，形成序列维度上的残差连接。在 SummHay 上，它仅用 5.2% 的输入位置就提升了来源归因，联合得分接近全上下文水平。
正文 · AI 翻译
摘要：长时程智能体会压缩其历史记录，以便在有限的上下文窗口内继续运行，但仅靠文本摘要可能无法支持后续的每一个决策。我们提出 REMORY，一种神经记忆网络，用一段有界的软记忆 token 序列来补充摘要。给定历史记录和摘要，该网络学习生成有助于冻结 LLM 逼近其在拥有完整历史记录时所产生的续写的 token。这些 token 以摘要为条件并追加在其后，形成沿序列维度的一种残差连接的类比。在 SummHay 上，REMORY 在洞察覆盖率几乎不变的情况下提升了来源归因，并且仅使用 5.2% 的输入位置就接近了全上下文联合得分。在长时程智能体基准测试中，Qwen3.8-27B 和 GLM-5.3-Flash 在残差记忆下均表现出持续提升。这两个模型在 BrowseComp 和 Terminal-Bench 2.1 上也表现出显著更少的重复工具输出和工具错误。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11287 [cs.CL] |
| （或 arXiv:2610.11287v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11287 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Hanchen Xia [查看邮箱]
[v1]
2026年10月8日星期四 05:50:50 UTC（1,645 KB）
来源：arXiv cs.AI · arxiv.org