arXiv cs.AI· Yilei Man, Yang Chen, Jingcai Guo·· 11 小时前AI 评分31
G-JEPA：在潜在世界模型中引入时序上下文感知的物理 grounding
Exploring Temporal Context-Aware Physical Grounding in Latent World Models
AI 导读
针对 JEPA 类世界模型中物理 grounding 缺乏时序上下文聚合、动作规划过度依赖通用采样分布的问题，研究者提出 G-JEPA，在学习阶段用共享因果时序模块在物理状态监督下聚合观测与预测序列的时序上下文，规划阶段则通过生成式动作分布逐步条件化产生锚定提案，引导基于模型的在线优化。在操作任务（包括初始与目标观测时间间隔增大的任务）上规划性能提升，代码已公开。
正文 · AI 翻译
摘要：学习潜在动力学是构建用于规划的动作条件世界模型的基础。在现有各类方法中，联合嵌入预测架构（JEPA）提供了一个自然的框架，它直接在潜在空间中建模状态转移，而非在像素层面。然而，基于 JEPA 的世界模型仍存在两个问题：(i) 物理基础缺乏对时间上下文的显式聚合；(ii) 动作规划总是过度依赖通用采样分布。为此，我们提出 $\mathcal{G}$-JEPA，它将时间上下文纳入潜在世界模型的物理基础，并将所学模型与先验引导的动作规划相结合。具体而言，在学习阶段，我们引入一个共享的因果时间模块，在物理状态监督下聚合观测序列与预测序列中的时间上下文，使二者都建立在任务相关的物理状态之上。在规划阶段，我们进一步引入动作推断，通过将生成式动作分布逐步以当前与目标的潜在表示及其不断演化的差异为条件，产生锚定提议，以引导基于模型的在线优化。由此，物理状态监督引导时间表示学习，而动作先验引导在所学世界模型中的搜索。实验表明，在操作任务上规划性能得到提升，包括初始观测与目标观测之间时间间隔逐渐增大的任务。代码已公开于 this https URL。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.28483 [cs.AI] |
| （或 arXiv:2610.28483v1 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.28483 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yilei Man [查看邮箱]
[v1]
2026年10月20日 星期二 16:30:27 UTC（684 KB）
来源：arXiv cs.AI · arxiv.org