arXiv cs.AI· Zeyu Fang, Jun Yin, Yongsheng Mei, Xu Han, Chaitali Joshi, Zhongkai Sun, Jie Hao, Bin Guo, Chengyuan Ma, Benjamin Z. Yao, Chenlei Guo·· 11 小时前AI 评分38
Route to Remember：用自适应记忆选择让 LLM 智能体的权重记忆更具竞争力
Route to Remember: Adaptive Memory Selection for LLM Agents
AI 导读
研究提出用 on-policy 自蒸馏（OPSD）训练无上下文学生模型，并配合 verify-then-regenerate 路由器，让权重记忆与文本记忆各覆盖最擅长的查询。在 HaluMem 基准上，OPSD 匹配或超越全上下文提示和检索系统等强文本记忆基线，且每次查询读取的 token 更少。该工作将权重记忆定位为智能体长期事实存储的低成本实用组件。
正文 · AI 翻译
作者：Zeyu Fang、Jun Yin、Yongsheng Mei、Xu Han、Chaitali Joshi、Zhongkai Sun、Jie Hao、Bin Guo、Chengyuan Ma、Benjamin Z. Yao、Chenlei Guo
摘要：生产型智能体的记忆正日益成为瓶颈，并且几乎完全由文本构建：从超限上下文中提取要点，并在查询时检索回上下文。因此，每次新查询都会产生额外成本，且该成本随累积历史增长。权重记忆是一种互补的替代方案，它将知识内化到模型参数中，并在完全没有上下文的情况下作答，近期已被证明在自我进化智能体中对内化技能和行为有效。然而，其在情景记忆和语义记忆（例如用户特定事实）中的应用仍相对未被探索，且早期权重记忆尝试与基于文本的系统在召回性能上仍存在差距。我们研究如何通过应用同策略自蒸馏（OPSD）使权重记忆作为长期事实存储具有竞争力。它从教师模型训练一个无上下文的学生模型，教师模型是同一模型以用户记忆为条件，并结合一个先验证后重新生成的路由器，让权重记忆和文本记忆各自覆盖其最擅长的查询。在 HaluMem 基准上，OPSD 匹配或超越了强文本记忆基线，包括全上下文提示和检索系统，同时每次查询读取的 token 更少。我们进一步开展了一项广泛研究，刻画权重记忆的行为，并分析不同训练配方如何影响其性能。随着智能体框架走向持久化、多会话部署，这些结果将权重记忆定位为智能体记忆中实用、低成本的组件，并为将其与检索结合提供了可行的训练和评估协议见解。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.05636 [cs.AI] |
| （或 arXiv:2611.05636v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05636 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | NeurIPS 2026 Workshop PALM |
提交历史
来自：Zeyu Fang [查看邮箱]
[v1]
2026年11月3日星期二 21:21:14 UTC（59 KB）
来源：arXiv cs.AI · arxiv.org