arXiv cs.CL· Zhiyun Shi·· 10 天前AI 评分32
Madeleine:从模拟人生中学习对话记忆的非自主回忆
Madeleine: Learning Involuntary Recall for Conversational Memory from Simulated Lives
AI 导读
Madeleine 通过 LLM 人生模拟器离线生成模拟人生,用线索-触发对训练查询编码器,在冻结的相似度之上学习残差关联,在线阶段不调用任何 LLM,仅替换查询编码器即可接入任意向量记忆库。
正文 · AI 翻译
摘要:长期对话助手必须在恰当的时刻回忆起正确的记忆,然而最重要的记忆往往与用户当下所说的话并不相似。当前系统通过在写入或读取时让 LLM 进行推理来恢复此类关联,代价是每个记忆库需要数百到上千次 LLM 调用,每次查询最多消耗数千个上下文 token。我们认为关联是一种可学习的相关性:即记忆在人类生活展开方式下的点互信息。我们提出 Madeleine,它学习摊销式关联:离线时,一个 LLM 生活模拟器撰写模拟人生,其中的线索—触发对教会查询编码器在冻结的相似度之上学习一种残差关联;在线时,它不调用任何 LLM,仅通过替换查询编码器即可接入任何向量记忆。在官方协议下的 LoCoMo-Plus 上,Madeleine (I) 接入 HyperMem 时达到 66.6,是该协议下评估的所有系统中最高的;(II) 单独使用时,以零 LLM 调用和约 1/21 的答案上下文达到 HyperMem 发布时的分数(52.4 对 52.9);(III) 将 T-Mem 提升 26.2 分,在两个系统中均显著优于相同的未训练骨干,并在 4B 骨干上保持普通问答不受影响。
| Comments: | 18 页,4 幅图。v2:为 HyperMem 插件添加了三种子结果,并添加了使用人工编写触发词的评估(附录 D) |
| Subjects: | 计算与语言(cs.CL);人工智能(cs.AI);信息检索(cs.IR) |
| Cite as: | arXiv:2610.01118 [cs.CL] |
| (或 arXiv:2610.01118v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.01118 由 DataCite 颁发的 arXiv DOI |
Submission history
来自:Zhiyun Shi [查看邮箱]
[v1]
2026 年 10 月 1 日星期四 05:59:23 UTC(1,037 KB)
[v2]
2026 年 10 月 7 日星期三 12:42:40 UTC(1,029 KB)
来源:arXiv cs.CL · arxiv.org