arXiv cs.AI· Qixin Sun, WenLong Gao, Xiansheng Chen, Zhongyuan Wang, Si Liu, Pengwei Wang·· 2 天前AI 评分38
LTM：面向视觉-语言-动作模型的潜在转移上下文记忆
LTM: Latent Transition Based In-Context Memory for Vision-Language-Action Models
AI 导读
研究者提出 Latent Transition Memory（LTM），将历史存为相邻观测间的紧凑潜在转移，并在 π₀.₅ 上实例化为 LTM-π，无需记忆专用语义标注或外部推理模型调用。
正文 · AI 翻译
摘要：机器人操作通常需要记住那些已不再可见的交互。我们提出了潜在转移记忆（Latent Transition Memory，LTM），它将历史存储为连续观测之间的紧凑潜在转移。在 $\pi_{0.5}$ 上实例化为 LTM-$\pi$，我们的方法使用冻结的潜在动作编码器、轻量级适配器以及因果 KV 缓存，实现增量推理，无需记忆特定的语义标注或外部推理模型调用。借助 DreamDojo 转移，LTM-$\pi$ 在 RoboMME 上达到 58.54% 的成功率，在 LIBERO-Mem 上达到 80.5%，在无外部推理模型或记忆特定标注的基线中表现最佳。消融实验支持了转移内容超越时间线索的贡献以及延迟记忆准入的效率。将 RoboMME 演示数据扩展十倍可将成功率从 57.67% 提升至 87.50%，而 Cup Swap 诊断则凸显了过程监督在时间组合中的作用。在 200 个 token 的记忆预算下，成功率仍为 84.00%，而无压缩时为 87.50%。最后，真实机器人计数成功率从 11.25% 提升至 82.50%。总之，这些结果证明了潜在转移记忆的有效性、可扩展性和效率，凸显了其处理复杂时间信息、有限上下文运行以及真实世界机器人控制的能力。
| 评论： | 数据集与代码：this https URL |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21362 [cs.RO] |
| （或 arXiv:2610.21362v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21362 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Qixin Sun [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 06:41:20 UTC（2,957 KB）
来源：arXiv cs.AI · arxiv.org