arXiv cs.AI· Daniel Strau{\ss}, Zhenshan Bing, Alois Knoll·· 13 小时前AI 评分31
把检索变成遍历：面向有状态长上下文智能体的价值索引记忆
Retrieval as Traversal: Value-Indexed Memory for Stateful Long-Context Agents
AI 导读
研究者提出“检索即遍历”框架，将记忆内容与地址分离，用成本正则化的索引目标让互补记忆可共同检索、冗余记忆不因单独有用而占据同一检索集。在 MiniGrid Memory 上仅测试最简单的固定几何实例：持久局部遍历头在五 token 上下文下用 0.59M 训练步达到 0.95 平均回报，而高斯绝对寻址需 0.94M、类别绝对寻址需超 2M。
正文 · AI 翻译
摘要：长上下文模型会反复求解密切相关的检索问题。注意力机制或全局检索可以保留大量存储，但每次前向传播都会再次搜索重要内容。循环压缩仅通过提前决定保留哪些信息来避免这种搜索。这两种机制都没有直接利用相邻检索步骤中有用记忆可能大幅重叠这一特性。我们提出一种替代方案，将检索视为通过地址空间进行的持久局部遍历。我们将记忆的内容与其地址分离。效用由检索内容所揭示的信息定义，而几何结构仅决定该信息能以多低的成本被到达。这引出一个成本正则化的索引目标，它在局部邻域内保留信息价值，同时对每个被设为局部可访问的记忆收取费用。其边际价值形式同时产生吸引压力和排斥压力。因此，当额外价值超过检索成本时，互补记忆应可共同检索；而冗余记忆不应仅因各自有用就占据同一检索集。作为原理验证，我们仅在 MiniGrid Memory 上测试了最简单的固定几何实例。一个持久局部遍历头在五 token 上下文下经过 $0.59$M 训练步达到 $0.95$ 平均回报，而高斯绝对寻址需要 $0.94$M，分类绝对寻址需要超过 $2$M。该实验未测试学习到的几何结构或重复检索。相反，它支持了有状态检索可能比无状态检索更易学习这一假设。要测试完整的所提方法，还需进一步实验。
| 评论： | 被 NeurIPS 2026 长上下文基础模型研讨会（LCFM）接收。7 页，1 张表 |
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | I.2.6; I.2.8 |
| 引用为： | arXiv:2610.40545 [cs.AI] |
| （或 arXiv:2610.40545v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40545 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Daniel Strauß [查看邮箱]
[v1]
2026 年 10 月 29 日星期四 17:37:21 UTC（14 KB）
来源：arXiv cs.AI · arxiv.org