arXiv cs.AI· Parsa Esmati, Somjit Nath, Katja Hofmann, Derek Nowrouzezahrai, Samira Ebrahimi Kahou, Majid Mirmehdi·· 6 天前AI 评分31
视频扩散模型内部是否编码物理结构？arXiv 研究揭示物理合理性可从扩散 Transformer 状态线性解码
The Invisible Hand of Physics: When Video Diffusion Models Know More Than They Show
AI 导读
研究通过反向积分学习到的速度场，将干净视频潜变量近似还原为噪声，从而探测视频扩散模型的中间状态与注意力图。结果显示，物理合理性可从扩散 Transformer 状态中线性解码，在 IntPhys 和 InfLevel 上平均准确率约 81.27%，优于 V-JEPA 和 VideoMAE 等表征学习基线。
正文 · AI 翻译
摘要：现代视频扩散模型生成的视频越来越逼真且时间连贯，促使人们将其用作候选世界模拟器。然而，这些模型内部是否编码了物理结构，还是仅仅复现了训练中见过的运动模式，仍不清楚。我们通过沿着对应真实视频且具有已知物理合理性的潜在轨迹探测视频扩散模型来研究这一问题。为获得此类轨迹，我们通过从干净视频潜在表示反向积分学习到的速度场到噪声，近似反转确定性采样过程，从而得以访问模型的中间状态和注意力图。利用这些恢复的轨迹，我们表明物理合理性可从扩散 transformer 状态中线性解码，在 IntPhys 和 InfLevel 上平均准确率达到约 81.27%，优于 V-JEPA 和 VideoMAE 等专门的表示学习基线。令人惊讶的是，该信号在 VAE 潜在输入中并不存在，而是出现在去噪 transformer 内部，尽管该模型并未使用自监督预测目标进行训练。这些发现表明，具有物理意义的表示可以作为生成式去噪的副产品而出现。
| 学科： | 图形学 (cs.GR)；人工智能 (cs.AI)；计算机视觉与模式识别 (cs.CV)；机器学习 (cs.LG) |
| 引用为： | arXiv:2606.05328 [cs.GR] |
| （或 arXiv:2606.05328v2 [cs.GR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.05328 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Parsa Esmati [查看邮箱]
[v1]
2026年6月3日星期三 18:11:51 UTC（16,702 KB）
[v2]
2026年10月9日星期五 09:38:45 UTC（16,720 KB）
来源：arXiv cs.AI · arxiv.org