arXiv cs.AI· Rufeng Xiao (VLA Research Team, Synthoid.ai), Ruihao Xiao (VLA Research Team, Synthoid.ai), Wei Chen (VLA Research Team, Synthoid.ai), Xinhai Sun (VLA Research Team, Synthoid.ai)·· 13 小时前AI 评分38
SaiVLA-JEPA：JEPA 条件下 VLA 控制中未来潜在预测的评估
SaiVLA-JEPA: Evaluating Future Latent Prediction in JEPA-Conditioned VLA Control
AI 导读
SaiVLA-JEPA 在 LIBERO-Plus 的 10,030 条配对 episode 上评估了 JEPA 特征对 VLA 闭环控制的作用：使用当前 JEPA 条件时成功率约 82.5%，而无 JEPA 特征时为 71.6%。
正文 · AI 翻译
摘要：联合嵌入预测架构（JEPA）学习预测表征而非像素，为建模视觉场景如何演变提供了一种紧凑的方式。我们探究当视觉-语言-动作（VLA）策略已经使用 V-JEPA 特征时，这一预测目标是否能改善闭环控制。我们将这一以 JEPA 为条件的流策略系列称为 SaiVLA-JEPA。它将视觉-语言模型与扩散 Transformer 动作专家相结合，并从冻结的 V-JEPA 编码器接收特征。两个轻量级辅助头在训练期间预测未来表征，在推理时被省略，从而使动作采样器保持不变。我们在 10,030 个配对的 LIBERO-Plus 回合上比较了无 JEPA 特征的策略、使用当前 JEPA 条件的策略以及带有额外未来监督的策略。当前 JEPA 条件达到约 82.5% 的成功率，而无 JEPA 时为 71.6%，而在所评估的训练预算下，未来监督未提供可检测的总体增益。我们另外评估了 SaiVLA-JEPA-TCA（自适应潜在上下文）和 SaiVLA-JEPA-TPA（自适应选定参数）。上下文重试增益是在更大尝试预算下的系统级结果；参数自适应相对于冻结策略和目标对照未显示出持续优势。这些结果促使我们通过配对的闭环 rollout 而非仅凭潜在损失来评估潜在预测目标。
| 学科： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38508 [cs.RO] |
| （或 arXiv:2610.38508v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38508 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xinhai Sun [查看电子邮件]
[v1]
2026 年 10 月 28 日星期三 09:25:24 UTC（129 KB）
来源：arXiv cs.AI · arxiv.org