跳到正文
arXiv cs.CL· Tianxiang Fei, Jiazheng Kang, Mao Zheng, Xingyan He, Xiang Yu·· 2 天前AI 评分34

Hy-Memory-30B-A3B:面向长期记忆写入的归因强化学习

Hy-Memory-30B-A3B: Attributed Reinforcement Learning for Long-Term Memory Writing

AI 导读

研究团队提出 Hy-Memory-30B-A3B,一个跨 Mem0、MemOS 和 Hy-Memory 训练的紧凑型长期记忆写入模型,通过 Memory On-Policy Distillation 学习各框架写入协议,再用 Memory RL 结合分块探针、跨块归因奖励与 chunk 级 GRPO 优化下游可答性。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:外部记忆系统将语言模型应用扩展到上下文窗口之外,但其质量关键取决于模型执行写入路径:决定保留什么、如何精确表示,以及新证据应如何更新持久状态。现有框架通常将通用大语言模型置于框架特定的提示词之后。这提高了服务成本,而为一种协议专门训练的写入器无法直接迁移到另一种协议;一个能够跨既有记忆框架运行的统一模型在很大程度上仍未被探索。我们提出 Hy-Memory-30B-A3B,一个紧凑的长期记忆写入器,在 Mem0、MemOS 和 Hy-Memory 上训练。Memory On-Policy Distillation 在学生生成的状態上教授框架特定的写入协议;Memory RL 随后使用密集的逐块探测、归因的跨块奖励、过度存储控制和块级 GRPO 来优化下游可回答性。跨窗口携带策略写入的记忆库使训练与部署保持一致。在固定的 20% 基准子样本上,Hy-Memory-30B-A3B 在所有四个评估测试框架上排名第一,包括留出的 EverMemOS,宏观平均为 55.49%,而 Claude Opus 5 为 54.62%。
学科: 计算与语言(cs.CL)
引用为: arXiv:2610.22196 [cs.CL]
  (或 arXiv:2610.22196v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.22196

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Tianxiang Fei [查看电子邮件]
[v1] 2026年10月15日星期四 16:46:47 UTC(699 KB)

来源:arXiv cs.CL · arxiv.org