arXiv cs.AI· Byungjun Kim, Soobin Um, Jong Chul Ye·· 1 天前AI 评分34
MotionCFG:通过语义运动锐化增强视频生成运动动态
MotionCFG: Boosting Motion Dynamics via Semantic Motion Sharpening
AI 导读
MotionCFG 是一种免训练方法,通过在条件嵌入的运动子空间上构造注入高斯噪声的负条件并远离它,选择性放大运动意图,理论上等价于语义拉普拉斯锐化。该方法配合仅作用于早期去噪步骤的分段引导调度,在多个 SOTA T2V 框架上稳定提升运动动态且开销可忽略,该拉普拉斯锐化原理还可推广到精确物体计数等非线性概念控制。论文已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要:尽管文本到视频(T2V)合成近期取得了进展,生成高保真且富有动态的运动仍然是一项重大挑战。现有方法主要依赖无分类器引导(CFG),但标准 CFG 对所有语义维度一视同仁,且没有提供沿运动轴选择性消解歧义的机制。为此,我们提出 MotionCFG,一种免训练方法,沿条件嵌入的运动子空间引入选择性引导。具体而言,我们通过向运动相关嵌入注入高斯噪声来构造运动扰动负条件,并引导生成远离该条件,从而选择性地放大运动意图。我们从理论上证明,该过程隐式近似语义拉普拉斯锐化,这是一种二阶校正,可抑制分数景观中运动歧义区域并放大已良好解析的动态峰值。结合将干预限制在早期去噪步骤的分段引导调度,MotionCFG 在多个最先进的 T2V 框架上持续提升运动动态性,且开销可忽略不计。我们进一步证明,这一拉普拉斯锐化原理可推广到运动之外,有效引导诸如精确物体数量这类通常难以通过标准文本引导调制的复杂非线性概念。我们的项目页面见 此 https URL。
| 评论: | 被 NeurIPS 2026 接收 |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2603.14073 [cs.CV] |
| (或 arXiv:2603.14073v2 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2603.14073 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Jong Chul Ye [查看电子邮件]
[v1]
2026年3月14日星期六 18:39:37 UTC(34,791 KB)
[v2]
2026年11月10日星期二 19:48:55 UTC(28,010 KB)
来源:arXiv cs.AI · arxiv.org