arXiv cs.MA· Jintian Zhang, Feng He, Xinnian Liang, Ziwen Xu, Haoming Xu, Haojing Huang, Shuangzhi Wu, Ningyu Zhang·· 3 天前AI 评分41
Cortex：将上下文整合进参数化记忆
Cortex: Consolidating Context into Parametric Memory
AI 导读
受生物系统记忆巩固启发，研究者提出 Memory Consolidation（MC）目标并提出 Cortex，通过生成前瞻性查询预测上下文用途，将上下文条件下的输出蒸馏为可合并的低秩或结构化前馈网络更新。
正文 · AI 翻译
摘要：上下文可以提升大语言模型的性能，但这些增益在上下文移除后可能会丢失。受生物系统巩固机制的启发，我们将记忆巩固（Memory Consolidation，MC）形式化为在保留非目标能力的同时将这些增益内化，并将上下文指定的编辑、技能学习和行为引导统一在一个共同目标之下。我们引入了一个包含五个任务族的测试平台，用于衡量在单次、批量与顺序更新下的巩固与保持能力。我们提出 Cortex，它生成前瞻性查询以预判上下文的用途，并将上下文条件下的输出蒸馏为可合并的低秩或结构化前馈网络更新。在 4B--120B 的稠密与混合专家骨干模型上，包括纯文本和多模态模型，Cortex 在大多数评估设置中都位于经验性的巩固--保持帕累托前沿上。在 14B 模型上进行 50 次顺序事实编辑后，Cortex-Structural 恢复了 88.9% 的上下文诱导增益，同时保留了 99.8% 的原始非目标性能。
| 评论： | 技术报告 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.20399 [cs.CL] |
| （或 arXiv:2610.20399v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20399 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ningyu Zhang [查看邮箱]
[v1]
2026年10月14日星期三 16:03:01 UTC（5,250 KB）
来源：arXiv cs.MA · arxiv.org