arXiv cs.CL· Jielong Tang, Ling-An Zeng, Xujie Yuan, Xiao Dong, Zhiqian Xia, Qingfeng Li, Shixiong Kai, Kaichao Liang, Rong Yao, Jian Yin·· 12 小时前AI 评分31
MHG-Mem：为多模态智能体保留溯源信息的超图记忆
Remembering Through Change: Provenance-Preserving Hypergraph Memory for Multimodal Agents
AI 导读
研究者提出多模态超图记忆 MHG-Mem，将实体提及与观测事实表示为节点，通过出现超边聚合身份一致的提及，并用演化超边和证据超边关联状态变化与视觉源证据。配套的超图智能体搜索可自适应选择入口层、跨层遍历类型化超边并按需核查原始观测。在三个基准上，MHG-Mem 相比最强基线提升 8.20-9.98%。
正文 · AI 翻译
摘要：多模态智能体的长期记忆仍然具有挑战性，因为它必须在跨会话追踪实体演变的同时保留细粒度的视觉证据。现有的基于抽象的記憶将图像压缩为文本，往往会丢弃具有视觉区分度的细节；而保留像素的记忆则保留原始观察，但难以可靠地将多样化的观察与持久的实体身份关联起来，并追踪其不断演变的状态。为解决这些局限，我们提出 MHG-Mem，一种多模态超图记忆，它联合组织实体身份、状态演变以及指向视觉证据的来源信息。具体而言，MHG-Mem 将不同的实体提及及其观察到的事实表示为独立节点，通过出现超边将身份一致的提及和事实分组。随后，它从这些分组观察中综合出特定方面的演变状态，并通过演变超边和证据超边将它们与支撑实体、事实和源证据关联起来。为了导航这种结构化记忆，我们引入了基于超图的智能体搜索，它自适应地选择入口层，跨记忆层级遍历类型化超边，并在需要细粒度验证时检查源观察。这些设计同时支持详细的视觉验证和对跨会话状态变化的推理。在三个基准上的大量实验证明了 MHG-Mem 的有效性，相比最强基线性能提升了 8.20-9.98%。
| 评论： | 31 页，10 张图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29995 [cs.CL] |
| （或 arXiv:2610.29995v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29995 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jielong Tang [查看邮箱]
[v1]
2026年10月21日星期三 16:34:28 UTC（4,080 KB）
来源：arXiv cs.CL · arxiv.org