arXiv cs.AI· Xingyu Sui, Weixiang Zhao, Yongxin Tang, Yanyan Zhao, Yang Wu, Dandan Tu, Bing Qin·· 10 小时前AI 评分38
AutoMMemo：让多模态智能体自动设计记忆机制
Learning to Learn from Multimodal Experience
AI 导读
AutoMMemo 是一个让智能体自动设计记忆机制的通用框架，将每种记忆机制表示为可执行的 memo program，通过“更新-检索”评估、反思引导变异和预算感知树搜索迭代发现有效方案。
正文 · AI 翻译
摘要：多模态智能体日益与类真实环境交互，并生成涵盖感知、推理与行动的丰富轨迹。一个关键研究焦点是如何将这些原始多模态轨迹转化为可复用的经验，以提升未来任务表现。现有的经验驱动学习方法大多在文本环境中发展，且通常依赖人工设计的记忆模式，因而对需要跨模态、跨时间尺度与抽象层级组合异构信号的多模态经验效果欠佳。我们提出 AutoMMemo，一个通用框架，使智能体能够自动设计用于从多模态经验中学习的记忆机制。AutoMMemo 将每种记忆机制表示为一个可执行的 memo 程序，该程序定义了过去情节如何被存储、组织与检索。它通过“先更新后检索”评估、反思引导的变异以及预算感知的树搜索这一迭代过程来发现有效的 memo 程序。在 GUI/Web 导航与多模态视觉推理基准上的实验表明，AutoMMemo 相比无记忆智能体和固定记忆基线持续提升智能体表现，同时保持合理的 token 与交互成本。迁移与搜索过程分析进一步表明，学到的记忆设计捕捉到了可复用的经验结构，并逐步细化检索相关性。这些结果凸显了自适应记忆设计作为多模态经验驱动学习关键优化目标的重要性。代码见 此 https URL。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.16857 [cs.AI] |
| （或 arXiv:2605.16857v2 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2605.16857 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Xingyu Sui [查看邮箱]
[v1]
2026年5月16日周六 07:41:31 UTC（822 KB）
[v2]
2026年11月4日周三 09:54:11 UTC（829 KB）
来源：arXiv cs.AI · arxiv.org