arXiv cs.AI· Wooseok Jeon, Seungho Park, Seunghyun Shin, Sangeyl Lee, Hyeonho Jeong, Hae-Gon Jeon·· 14 小时前AI 评分37
DyMoS:无需训练即可提升图像到视频模型运动表现
Rebalancing Reference Frame Dominance to Improve Motion in Image-to-Video Models
AI 导读
研究者提出 DyMoS(Dynamic Motion Slider),一种无需训练、与模型无关的方法,通过重新平衡生成帧对参考帧的注意力来增强图像到视频模型的运动动态。
正文 · AI 翻译
摘要:与文本到视频模型相比,图像到视频模型生成的视频往往过于静态。以往的方法通过削弱或修改图像条件信号来缓解这一问题,但通常需要额外训练,或牺牲对参考图像的保真度。在本工作中,我们识别出参考帧主导是运动抑制背后的关键机制。我们观察到,I2V 模型中的非参考帧将过多的自注意力分配给参考帧的键 token,导致参考信息在时间上被过度传播,从而抑制了帧间动态。基于这一发现,我们提出了 DyMoS(Dynamic Motion Slider),一种无需训练且与模型无关的方法,它在初始去噪步骤中重新平衡从生成帧到参考帧的注意力通路。DyMoS 保持输入图像和模型权重不变,并引入单个标量参数以连续控制运动强度。在多个最先进的 I2V 骨干网络上的实验表明,DyMoS 在保持视觉质量和对参考图像保真度的同时,持续提升了运动动态。
| 评论: | 已被 NeurIPS 2026 接收。项目页面:此 https URL |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2605.19398 [cs.CV] |
| (或 arXiv:2605.19398v5 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2605.19398 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Wooseok Jeon [查看邮箱]
[v1]
2026年5月19日星期二 05:50:24 UTC(6,059 KB)
[v2]
2026年5月20日星期三 05:07:06 UTC(6,059 KB)
[v3]
2026年6月3日星期三 07:04:53 UTC(6,060 KB)
[v4]
2026年9月25日星期五 12:23:35 UTC(6,060 KB)
[v5]
2026年10月26日星期一 05:03:41 UTC(6,060 KB)
来源:arXiv cs.AI · arxiv.org