跳到正文
arXiv cs.CL· Zhiyun Shi·· 10 天前AI 评分32

Madeleine:从模拟人生中学习对话记忆的非自主回忆

Madeleine: Learning Involuntary Recall for Conversational Memory from Simulated Lives

AI 导读

Madeleine 通过 LLM 人生模拟器离线生成模拟人生,用线索-触发对训练查询编码器,在冻结的相似度之上学习残差关联,在线阶段不调用任何 LLM,仅替换查询编码器即可接入任意向量记忆库。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:长期对话助手必须在恰当的时刻回忆起正确的记忆,然而最重要的记忆往往与用户当下所说的话并不相似。当前系统通过在写入或读取时让 LLM 进行推理来恢复此类关联,代价是每个记忆库需要数百到上千次 LLM 调用,每次查询最多消耗数千个上下文 token。我们认为关联是一种可学习的相关性:即记忆在人类生活展开方式下的点互信息。我们提出 Madeleine,它学习摊销式关联:离线时,一个 LLM 生活模拟器撰写模拟人生,其中的线索—触发对教会查询编码器在冻结的相似度之上学习一种残差关联;在线时,它不调用任何 LLM,仅通过替换查询编码器即可接入任何向量记忆。在官方协议下的 LoCoMo-Plus 上,Madeleine (I) 接入 HyperMem 时达到 66.6,是该协议下评估的所有系统中最高的;(II) 单独使用时,以零 LLM 调用和约 1/21 的答案上下文达到 HyperMem 发布时的分数(52.4 对 52.9);(III) 将 T-Mem 提升 26.2 分,在两个系统中均显著优于相同的未训练骨干,并在 4B 骨干上保持普通问答不受影响。
Comments: 18 页,4 幅图。v2:为 HyperMem 插件添加了三种子结果,并添加了使用人工编写触发词的评估(附录 D)
Subjects: 计算与语言(cs.CL);人工智能(cs.AI);信息检索(cs.IR)
Cite as: arXiv:2610.01118 [cs.CL]
  (或 arXiv:2610.01118v2 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.01118

由 DataCite 颁发的 arXiv DOI

Submission history

来自:Zhiyun Shi [查看邮箱]
[v1] 2026 年 10 月 1 日星期四 05:59:23 UTC(1,037 KB)
[v2] 2026 年 10 月 7 日星期三 12:42:40 UTC(1,029 KB)

来源:arXiv cs.CL · arxiv.org