arXiv cs.AI· Taekoan Yoo, Wonkyung Jung, Kyunghun Kim, Kyeongbo Kong·· 11 小时前AI 评分34
PhysTrace:视频生成模型物理一致性的可解释时序评估框架
PhysTrace: Interpretable Temporal Evaluation of Physical Consistency in Video Generative Models
AI 导读
PhysTrace 是一个无需训练的框架,利用 MLLM 构建以历史为条件的物理预期,并通过时序视频-语言对齐追踪其与观测视频片段的一致性。在 IntPhys2 上,PhysTrace 实现 67.2% 的可能-不可能判别准确率,超过所评估的直接 MLLM 基线;在新提出的 IntPhys2-Timing 上,违规区间定位 Hit Rate 最高达 77.4%。
正文 · AI 翻译
摘要:世界动作模型日益依赖预训练的基于扩散/流的视频生成器,并假定其能够捕捉物理动态以用于预测、规划和动作生成。现有评估方法评估合理性、探测表征或测量预测意外程度,但物理一致性具有历史依赖性:先前事件会约束之后在物理上可能发生的情况。我们提出 PhysTrace,一个无需训练的框架,它使用 MLLM 构建以历史为条件的物理预期,并通过时序视频—语言对齐来追踪这些预期与观测视频窗口的一致性,而不是依赖直接的合理性判断或任务特定的探针。在 IntPhys2 上,PhysTrace 达到 67.2% 的可能—不可能判别准确率,优于所评估的直接 MLLM 基线。我们进一步引入参考引导的掩码去噪,用于从混合的可能—不可能视频潜变量中进行受控重建。为支持这些重建并评估时序定位这一额外能力,我们引入 IntPhys2-Timing,为 IntPhys2 添加违规区间,PhysTrace 在其中达到最高 77.4% 的命中率。在这些重建上,人工评估揭示了物理一致性方面依赖模型的差异,以及在更高初始噪声水平下更少的物理上不可能的结果,这些趋势大体上被 PhysTrace 捕捉到。
| 评论: | 19 页,8 幅图,7 张表,包括补充材料 |
| 主题: | 人工智能(cs.AI);机器人学(cs.RO) |
| 引用为: | arXiv:2610.31429 [cs.AI] |
| (或 arXiv:2610.31429v2 [cs.AI] 为此版本) | |
| https://doi.org/10.48550/arXiv.2610.31429 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Taekoan Yoo [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 15:27:58 UTC(17,536 KB)
[v2]
2026 年 11 月 5 日星期四 15:42:57 UTC(13,569 KB)
来源:arXiv cs.AI · arxiv.org