arXiv cs.AI· Jewon Yeom, Hanseul Kim, Jeongjae Park, Sungmok Jung, Jaejin Lee, Taesup Kim·· 12 小时前AI 评分38
视频世界模型潜空间中的动作相关性从何而来：预测优于重建
What Makes Video World Model Latents Action-Relevant: Prediction over Reconstruction
AI 导读
一项基于统一探针的评估发现，视频世界模型潜空间中的动作相关结构主要由时序视频预训练驱动，而非像素重建保真度——像素解码质量强的模型动作可恢复性可接近零，而视频预训练的自监督编码器在视觉保真与动作预测间取得最佳 Pareto 权衡。
正文 · AI 翻译
摘要：视频世界模型越来越多地被用于提供预测性视觉表征，但目前尚不清楚哪些预训练信号会在其潜在空间中诱导出与动作相关的结构。我们通过一项统一的基于探针的评估来研究这一问题，评估涵盖多种编码器家族，包括仅图像自监督、带与不带潜在预测的视频预训练、基于重建的自编码器、扩散模型以及 shortcut-forcing 动力学模型。使用通用的逆动力学探针目标，我们发现与动作相关的结构主要由时序视频预训练驱动，而非像素重建保真度：具有强像素解码质量的模型可能表现出接近零的动作可恢复性，而视频预训练的自监督编码器始终在视觉保真度与动作预测之间取得最佳的帕累托权衡。进一步比较 V-JEPA 与 VideoMAE 表明，大部分增益来自自然视频的时序上下文，而特征级潜在预测提供的额外收益较小。这些趋势可迁移至机器人基准，不过 CALVIN 揭示静态环境任务可以通过让强图像先验足以胜任，从而部分掩盖时序结构的重要性。最后，逆动力学监督显著提升了对视觉损坏的鲁棒性，表明动作感知目标在干净设定性能之外还能正则化潜在几何。我们的结果确定时序预测结构——而非重建保真度——是构成与动作相关视频表征的主要要素。
| 评论： | 被第十届机器人学习会议（CoRL 2026）接收。25 页，6 幅图，20 张表。代码：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.07687 [cs.CV] |
| （或此版本的 arXiv:2606.07687v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2606.07687 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hanseul Kim [查看邮箱]
[v1]
2026 年 6 月 5 日星期五 04:43:02 UTC（196 KB）
[v2]
2026 年 10 月 27 日星期二 06:32:20 UTC（363 KB）
来源：arXiv cs.AI · arxiv.org