arXiv cs.AI· Xianyao Li, Ruitong Tian, Rui Min, Fang Xu, Jing Du·· 4 小时前AI 评分31
可执行感知记忆 EPM:让世界模型在想象中保留所见所触
Perception into Imagination: Executable Memory for World Models
AI 导读
研究者提出可执行感知记忆(EPM)世界模型框架,在想象过程中将显式感知状态与神经潜在动力学同步推进,其演化读出用于奖励预测、价值估计和策略学习。在 Memory Maze 13×13 上,EPM 于 1M 次交互达到 30.37 回报,而相同感知前端下仅用该读出指导策略与价值时为 23.37,提升 7.00 [3.80, 10.21]。
正文 · AI 翻译
摘要:物理智能体必须在可见性或接触丢失后,使用它们先前看到或触摸到的信息。它们的行为会改变这些记忆事实的含义。我们引入了可执行感知记忆(EPM),这是一个世界模型框架,在想象过程中将显式感知状态与神经潜在动态一同推进。其不断演化的读出结果用于指导奖励预测、价值估计和策略学习。我们将奖励输入与产生它们的转移对齐,并在记录动作的开环 rollout 上监督奖励头。在 Memory Maze $13\times13$ 上,EPM 在 100 万次交互时达到 30.37 的回报,而相同演化读出仅在共同感知前端上指导策略和价值时为 23.37:增益为 7.00 [3.80, 10.21]。完整方法还改善了 $9\times9$ 和 MiniWorld 中的控制。对记忆的、视野外到达的探测显示,两种视觉实现中都有更强的奖励预期。集中、触觉恢复和真实触觉帧展示了记忆事实在想象策略训练、运动依赖决策和感官内容保持中的互补作用。EPM 将持久感知与世界模型的预测后果和学习信号连接起来,服务于 Physical AI。
| 评论: | 18 页,6 幅图,15 张表 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);计算机视觉与模式识别(cs.CV);机器人学(cs.RO) |
| 引用为: | arXiv:2611.22294 [cs.LG] |
| (或 arXiv:2611.22294v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22294 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Xianyao Li [查看电子邮件]
[v1]
2026 年 11 月 17 日星期二 06:52:02 UTC(390 KB)
来源:arXiv cs.AI · arxiv.org