arXiv cs.CL· Zijun Wang, Yifan Ji, Haidong Xin, Zhenghao Liu, Yukun Yan, Zulong Chen, Yu Gu, Ge Yu, Maosong Sun·· 6 天前AI 评分37
T²Mem：面向 LLM 长交互历史的测试时记忆构建框架
Test-Time Memory Construction
AI 导读
研究者提出 T²Mem，一个将记忆构建推迟到推理阶段的测试时记忆构建框架，在推理过程中逐步构建查询专属记忆。该方法离线仅提取轻量级 episode 级元数据作为检索线索，测试时由 LLM 自适应检索并组织元数据与原始交互。在 LoCoMo 和 LongMemEval 上，T²Mem 在不同骨干 LLM 上持续优于强基线，同时大幅降低记忆构建开销，代码已开源。
正文 · AI 翻译
摘要：大型语言模型（LLM）难以回答涉及长交互历史的问题，因为相关证据可能分散在相隔较远的会话中。现有的记忆系统通常会在观察到用户查询之前，离线构建并维护复杂的记忆表示，这会带来大量开销，并限制其根据查询特定信息需求调整记忆构建的能力。本文提出 T$^2$Mem，一种测试时记忆构建框架，将记忆构建推迟到推理阶段，并沿推理过程逐步构建记忆。具体而言，T$^2$Mem 离线提取轻量级的片段级元数据，以捕获关键事件和时间关联作为检索线索，同时保留指向原始交互的链接，以便重建跨片段的依赖关系。在测试时，LLM 自适应地检索并组织元数据和原始交互，随着推理展开逐步构建查询特定的记忆。在 LoCoMo 和 LongMemEval 上的实验表明，T$^2$Mem 在不同骨干 LLM 上持续优于强基线，同时大幅降低记忆构建开销，证明了其有效性。进一步分析表明，将记忆构建推迟到推理阶段，使记忆构建过程能够动态适应各个查询的信息需求。所有代码见 此 https URL。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13348 [cs.CL] |
| （或 arXiv:2610.13348v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13348 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Haidong Xin [查看电子邮件]
[v1]
2026年10月9日星期五 10:24:51 UTC（1,583 KB）
来源：arXiv cs.CL · arxiv.org