arXiv cs.CL· Mingyuan Li, Guangsheng Yu, Juyuan Zhang, Xu Wang, Zhibo Man, Haonan Zhang, Shaoxiong Ji·· 3 天前AI 评分22
MemoryAthena：在潜在记忆与生成记忆之间自适应路由
MemoryAthena: Adaptive Routing over Latent and Generated Memories
AI 导读
MemoryAthena 通过直接 Engram 检索（E）、基于检索线索的生成（GE）和不查表的因果骨干生成（GH）三条路径，用轻量因果路由头判断生成记忆何时介入。在冻结骨干、记忆、生成器与读取器的情况下，问答五任务平均分从 37.65 提升至 39.28，六任务通用 NLP 平均分从 76.73 提升至 79.13。记忆侧系统约含 201M 参数，不含冻结骨干。
正文 · AI 翻译
摘要：学习型记忆方法将信息存储在显式表格中，并通过单独的读取器来使用，从而允许寻址、存储和读取被独立修改。我们研究有用的记忆是否也能被生成，而不仅仅是被检索。MemoryAthena 使用三条路径：直接 Engram 检索（E）、从检索到的 Engram 线索生成（GE），以及在不查询记忆表的情况下从因果主干状态生成（GH）。生成的记忆具有条件性用途：它可以在一种情境下补充 E，但在另一种情境下干扰 E。因此，MemoryAthena 将 E 视为锚点，并学习生成的表示应在何时介入。在主干、记忆、生成器和读取器均冻结的情况下，一个轻量级因果路由头根据 GE 和 GH 相对于 E 的反事实未来 token 似然优势进行训练。在推理时，被接纳的候选通过有界插值修改 E 的残差，而拒绝则精确恢复直接路径。在问答任务上，MemoryAthena 将同一检查点的直接路径的五任务平均值从 37.65 提升至 39.28，而六任务通用 NLP 平均值从 76.73 提升至 79.13。完整的记忆侧系统包含约 201M 参数，不包括冻结的主干。进一步分析表明，E、GE 和 GH 在不同任务和输入之间具有互补优势。这些结果支持将生成记忆作为对直接检索的选择性校正，并强调路由何时、哪个以及以多强程度介入是核心挑战。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.25853 [cs.CL] |
| （或 arXiv:2609.25853v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.25853 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Mingyuan Li [查看电子邮件]
[v1]
2026年9月22日星期二 08:17:43 UTC（2,266 KB）
[v2]
2026年9月26日星期六 19:52:03 UTC（2,395 KB）
[v3]
2026年10月14日星期三 08:23:38 UTC（2,397 KB）
来源：arXiv cs.CL · arxiv.org