arXiv cs.AI· Taeyun Roh, Suhyeong Park, Gijin Kim, Wonjune Jang, Jaewoo Kang·· 3 天前AI 评分26
SwitchMem：为 GUI 智能体动态选择记忆模态
Learning How to Remember: Memory Modality Selection for GUI Agents
AI 导读
针对 VLM 驱动的 GUI 智能体普遍采用固定记忆表示的问题，研究者系统研究了记忆模态偏好，发现其强烈依赖交互步骤。为此提出 SwitchMem 路由框架，在每一步动态选择文本或视觉记忆表示，在三个 GUI 基准上均优于静态记忆表示基线。
正文 · AI 翻译
摘要：视觉语言模型（VLM）的最新进展大幅提升了 GUI 智能体的能力，而记忆增强已成为复用过往交互知识的一种有前景的方法。然而，现有的记忆增强 GUI 智能体通常采用固定的表示策略，将检索到的经验作为静态模态提供。目前尚不清楚单一记忆模态是否始终最优，也不清楚模态偏好如何随交互步骤而变化。在本工作中，我们对基于 VLM 的 GUI 智能体中的记忆模态进行了系统性研究。在多个 GUI 基准上，我们发现偏好的记忆表示与步骤高度相关。受此发现启发，我们提出了 \textbf{SwitchMem}，一个在每一步动态选择文本或视觉记忆表示的路由框架。在三个 GUI 基准上，SwitchMem 优于依赖静态记忆表示的记忆增强基线。我们的发现验证了我们的主张：记忆模态是一个依赖步骤的决策，而非固定的设计选择。代码和项目资源可在 此 https URL 获取
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.17928 [cs.AI] |
| （或 arXiv:2610.17928v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17928 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Taeyun Roh [查看电子邮件]
[v1]
2026年10月13日星期二 08:15:52 UTC（2,204 KB）
来源：arXiv cs.AI · arxiv.org