多模态智能体记忆的演进：形成、维护与学习
Seeing, Maintaining, and Learning: The Evolution of Multimodal Agent Memory
一篇 arXiv 综述提出双轴分析框架，梳理多模态智能体记忆：轴一关注信息如何形成与表示（模态嵌入、文本与结构化记录、潜在与参数化表示），轴二将记忆管理分为 T1 静态记忆、T2 动态记忆和 T3 自演化记忆三层。文章据此归纳出在源保真与抽象之间平衡、维护时间有效性与来源、以可恢复证据支撑记忆使用、以及随时间演化记忆策略等设计原则，并讨论未来挑战。
作者：Minghao Guo, Qingyue Jiao, Xiujin Liu, Jianhong Pang, Ruimeng Yang, Naihao Xu, Liwei Che, Haochen Xue, Ziqi Wang, Xinying Cai, Jiaxuan Luo, Jiaxin Deng, Xuesong Ye, Jintao Qu, Wenyao Gao, Jingwen Gu, Chenyang Zhao, Shichun Liu, Guibin Zhang, Zefang Liu, Siyin Wang, Wujiang Xu, Danrui Li, Zeru Shi, Woongyeong Yeo, Shuang Liu, Wei-Chieh Huang, Weizhi Zhang, Tianyu Yang, Kangsan Kim, Yebowen Hu, Bowen Wen, Bowen Jiang, Haohao Su, Ming Yin, Sheldon Yu, Mian Zhang, Yuyan Chen, Hanrong Zhang, Kai Mei, Zihao Zhang, Mingyu Jin, Xi Zhu, Hengyi Wang, Tianxin Wei, Linyong Nan, Zhenwen Liang, Zhendong Chu, Ziqi Huang, Yongye Su, Sixun Dong, Shujian Liu, Kaiqu Liang, Jiaojiao Han, Zhaoye Fei, Kun Wang, Shihan Dou, Zhichun Guo, Xingjian Diao, Zeqi Gu, Heng Wang, Tao Feng, Cheng Qian, Hamid Palangi, Silei Xu, Xi Yun, Yi Zhu, Shilong Liu, Qingsong Wen, Sung Ju Hwang, Zuxuan Wu, Yu-Gang Jiang, Yiyu Shi, Dimitris N. Metaxas, Jiaxuan You, Julian McAuley, Mengdi Wang, Jiawei Han, Philip S. Yu, Ziyi Ye
摘要：多模态模型与智能体的出现，使 AI 系统能够通过整合多种模态的信息，更像人类一样从现实世界中学习并与之交互。然而，随着多模态智能体迈向长时程任务和终身学习场景，使其能够从复杂、异构的多模态数据中持续获取有用信息仍是一项重大挑战。应对这一挑战需要有效的记忆机制，能够跨会话保持连续性、适应不断变化的用户与环境，并通过积累的经验优化记忆管理策略。我们提出了一个面向多模态智能体记忆的双轴分析框架，围绕两个关键问题展开：多模态信息如何形成与表示（轴 I，形成与表示），以及其管理如何随积累的经验而适应（轴 II，记忆管理）。轴 I，形成与表示，刻画了哪些信息被保留以及如何被编码（例如，模态特定的嵌入、文本与结构化记录、潜在与参数化表示），以支持后续的推理与行动。轴 II，记忆管理，区分了三个层级：T1 静态记忆复用固定记忆；T2 动态记忆通过稳定策略更新记忆；T3 自演化记忆通过不断演化的策略更新记忆。基于该框架，我们归纳了反复出现的设计模式，并推导出若干原则：在来源保真与抽象之间取得平衡、保持时间有效性与来源溯源、将记忆使用建立在可恢复的证据之上，以及随时间演化记忆策略。此外，我们讨论了多模态智能体记忆机制所面临的挑战与潜在未来方向。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.19366 [cs.AI] |
| （或 arXiv:2610.19366v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19366 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Qingyue Jiao [查看邮箱]
[v1]
2026年10月14日星期三 01:11:57 UTC（36,113 KB）
来源：arXiv cs.CL · arxiv.org