arXiv cs.AI· Li Li, Xiangbo Gao, Bo Ni, Samyadeep Basu, Viet Dac Lai, Jing Shi, Seunghyun Yoon, Gang Wu, Yu Wang, Thien Huu Nguyen, Tyler Derr, Franck Dernoncourt, Zhengzhong Tu, Yue Zhao·· 4 小时前AI 评分31
面向指令引导视频编辑的运动感知奖励模型
Motion-Aware Reward Modeling for Instruction-Guided Video Editing
AI 导读
针对指令引导视频编辑奖励模型偏好时序一致性而牺牲运动的问题(称为 motion collapse),研究者提出运动感知奖励模型,将 RGB 帧差流与针对运动抑制、伪造运动负样本的偏好训练结合,并用蒸馏锚点保持与人类质量判断的对齐。
正文 · AI 翻译
作者:Li Li、Xiangbo Gao、Bo Ni、Samyadeep Basu、Viet Dac Lai、Jing Shi、Seunghyun Yoon、Gang Wu、Yu Wang、Thien Huu Nguyen、Tyler Derr、Franck Dernoncourt、Zhengzhong Tu、Yue Zhao
摘要:用于指令引导视频编辑的奖励模型可能会以牺牲运动为代价来偏向时间一致性。我们使用真实编辑的受控运动抑制变体来研究这一失败,称之为\emph{运动坍缩}。在 VE-Bench 上,所评估的复合奖励在 $97\%$ 的情况下更偏好运动被抑制的候选。学习到的视频奖励和 VLM 评判器也难以应对轻度抑制,而潜在优化和奖励引导的微调则利用这一弱点,在运动减少时提高奖励。我们的基础奖励骨干网络的线性探针在轻度抑制下表现接近随机,这促使我们引入显式的帧间动态输入。我们提出了一种运动感知奖励模型,它将 RGB 帧差流与针对运动抑制和伪造运动负样本的偏好训练相结合。蒸馏锚点保持与人类质量判断的一致性。在 VE-Bench 运动阶梯上,我们的模型将选择运动被抑制候选的比例降至 $0\%$,同时与人类质量评分的 Spearman 相关系数达到 $0.57$。它还能检测未见过的抑制变体,并在两个编辑管线的奖励引导微调过程中保持运动。这些结果支持在视频编辑奖励中显式建模运动。
| 主题: | 计算机视觉与模式识别 (cs.CV);人工智能 (cs.AI) |
| 引用为: | arXiv:2611.22495 [cs.CV] |
| (或 arXiv:2611.22495v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22495 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Li Li [查看电子邮件]
[v1]
2026年11月17日星期二 09:51:25 UTC (15,974 KB)
来源:arXiv cs.AI · arxiv.org