arXiv cs.AI· Peisong Wen, Qianqian Xu, Minye Lei, Siran Dai, Yang Liu, Qingming Huang·· 11 小时前AI 评分31
Slot-JEPA：面向潜在世界模型的对象结构化预测接口
Slot-JEPA: Object-Structured Prediction Interfaces for Latent World Models
AI 导读
Slot-JEPA 将 JEPA 的稠密 patch 表示分解为稳定的语义 slot 与时变空间掩码，预训练一次并冻结后即可为下游提供可复用的对象结构化接口。配套的 Transition Memory Predictor（TMP）以紧凑掩码存储视觉转移，并用 Unbalanced Optimal Transport（UOT）监督掩码预测。
正文 · AI 翻译
摘要：作为典型的潜在世界模型，联合嵌入预测架构（JEPA）提供了强大的语义表示。然而，密集的图块表示向下游预测器暴露了冗余的接口，下游预测器必须隐式推断空间组织和时间对应关系，这带来了三个挑战。第一，对象信息分布在各个图块中，迫使每个下游预测器在建模交互之前冗余地恢复本可跨任务复用的对象结构。第二，缺乏跨时间的显式实体对应关系，使得历史状态转换代价高昂，限制了预测器利用上下文的灵活性。第三，在没有显式传输结构的情况下，现有 JEPA 模型通常使用逐点的 l1/l2 距离，当预测支撑集与目标支撑集基本不相交时，这种距离对空间位移不敏感。我们提出了基于槽位的联合嵌入预测架构（Slot-JEPA），它将密集表示分解为稳定的语义槽位和随时间变化的空间掩码。该分解只需预训练一次并在下游冻结，即可暴露可复用的对象结构化接口。在此基础上，我们的转换记忆预测器（TMP）将视觉转换存储为紧凑的掩码，并利用对应槽位的统计信息检索有用的上下文。其两个分支将槽位特定的动态与共享的跨槽位动态分开。我们进一步使用非平衡最优传输（UOT）来监督掩码预测，并通过在对齐的预测掩码与目标掩码之间传输质量来评估候选方案，从而提供与空间进展更一致的信号。在七个视觉理解基准上，槽位重建的特征仍保持可迁移性。Slot-JEPA 还在六个平面环境和 REALM-JEPA 基准上的四个机械臂规划任务中改进了目标条件规划。
| 学科： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.28074 [cs.AI] |
| （或 arXiv:2610.28074v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28074 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Peisong Wen [查看邮箱]
[v1]
2026年10月20日星期二 11:53:42 UTC（4,648 KB）
来源：arXiv cs.AI · arxiv.org