arXiv cs.AI· Samuele Punzo, Niccol\`o Caselli, Ippokratis Pantelidis, Francesco Massafra, Salvatore Lo Sardo, Mohammadreza Salehi·· 10 小时前AI 评分31
视频基础模型如何编码直觉物理？跨预训练范式探针研究
How Do Video Foundation Models Encode Intuitive Physics? Probing Across Pretraining Paradigms
AI 导读
研究用冻结特征探针在 IntPhys2 和 MVP 上比较 V-JEPA、VideoMAE 与 LTX-Video，发现物理相关信息在浅层最弱、中后层最易解码。
正文 · AI 翻译
摘要：视频基础模型是否编码了关于物理世界如何运作的可用感知，直觉物理是否会从大规模视频预训练中自然涌现？在本工作中，我们研究预训练视频基础模型是否在其冻结表示中编码了直觉物理信息，以及这种信息的可访问性如何随预训练范式、层、骨干变体和探针类型而变化。通过在 IntPhys2 和 Minimal Video Pairs（MVP）上进行冻结特征探测，我们比较了预测式联合嵌入模型（V-JEPA）、掩码重建模型（VideoMAE）和基于扩散的视频生成器（LTX-Video）。我们发现，在线性、MLP 和时间注意力探针中，物理相关信息通常在早期层中最弱，在中间到较深层深度中最易访问。在 MVP 上，时间注意力探针显著优于线性读出，V-JEPA 实现了 95.0% 的配对一致性。在 IntPhys2 上，线性探针恢复了更多信号，VideoMAE 在 73.9% 的期望违背准确率下取得了最强的时间注意力结果。在两个基准上，LTX 上的注意力探针性能始终低于其他两种预训练范式。总之，这些结果表明，直觉物理可以从视频基础模型中广泛解码，但它并非作为单一、统一的能力被表示。其可访问性，尤其是其时间基础，更多地取决于基准和读出，而不是预训练目标或模型规模的简单层级。
| 评论： | 已被 NeurIPS 2026 物理 AI 世界模型研讨会接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.09646 [cs.CV] |
| （或此版本的 arXiv:2606.09646v3 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2606.09646 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Niccolò Caselli [查看电子邮件]
[v1]
2026年6月8日星期一 15:40:32 UTC（1,755 KB）
[v2]
2026年9月13日星期日 15:50:40 UTC（2,038 KB）
[v3]
2026年10月30日星期五 08:34:47 UTC（2,022 KB）
来源：arXiv cs.AI · arxiv.org