arXiv cs.AI· Yuxuan Chen, Xiaojie Li, Hao Chen, Juncheng Ma, Kewei Zhang, Zhongjing Du, Guoqiang Wei, Fangfang Wang, Zhen Dong, Zhiyang Dou, Liming Zhao, Yan Zeng, Jianwei Zhang, Daquan Zhou·· 1 天前AI 评分42
PhysLoop:利用 LLM 物理认知实现视频生成模型自我改进
PhysLoop: Harnessing LLMs' Physics Awareness for Self-Improving Video Generation Models
AI 导读
PhysLoop 是一套统一框架,引导 LLM 在视频生成、筛选与修正全流程中提供物理监督,将物理知识蒸馏为物理一致的视频,并支持可控训练数据构建与推理时视频修复。团队开源了 10 万条覆盖室内外场景的视频、生成工具及 PhysLoop-Gen 与 PhysLoop-Repair 两个评测数据集,并在 Physics-IQ Verified 基准上评估物理表现。
正文 · AI 翻译
作者:Yuxuan Chen、Xiaojie Li、Hao Chen、Juncheng Ma、Kewei Zhang、Zhongjing Du、Guoqiang Wei、Fangfang Wang、Zhen Dong、Zhiyang Dou、Liming Zhao、Yan Zeng、Jianwei Zhang、Daquan Zhou
摘要:视频生成模型能生成视觉上逼真的视频,但在物理动态和因果一致性方面仍存在困难。从生成的视频中学习需要细粒度的物理监督,然而可靠的质量判断、校正对和受控变化难以获得。大语言模型(LLM)具备物理知识,但难以可靠地引导视频生成模型生成其训练视频。我们提出 PhysLoop,一个统一的框架,旨在支持视频生成模型中基于物理的自我改进。该框架在视频生成、选择和校正的全过程中引导并约束 LLM,将其物理知识蒸馏为物理一致的视频。该框架支持可控的训练数据构建和推理时的视频修复。通过识别并校正失败,PhysLoop 标志着视频生成模型在有限人工干预下迈向递归自我改进(RSI)的关键里程碑。我们发布了 10 万个视频,涵盖多样、真实的室内和室外场景,以及生成工具和两个评估数据集:PhysLoop-Gen 和 PhysLoop-Repair。我们分别在这些数据集上评估可控生成和局部修复,并在外部 Physics-IQ Verified 基准上评估物理行为。
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2611.16748 [cs.CV] |
| (或 arXiv:2611.16748v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.16748 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Yuxuan Chen [查看邮箱]
[v1]
2026年11月12日星期四 12:59:35 UTC(28,213 KB)
来源:arXiv cs.AI · arxiv.org