arXiv cs.AI· Siyi Qian, Hanqing Yang, Weihuang Lin, Zihao Yang, Yichen Lu, Yuanhong Zheng, Sheng Li·· 6 天前AI 评分24
MotionCoach：为视频专业动作编辑构建多模态引导
MotionCoach: Constructing Multimodal Guidance for Video Professional Motion Editing
AI 导读
针对现有视频编辑模型难以按专业动作名称生成正确动作的问题，研究者提出多模态智能体 MotionCoach，通过多轮工具调用与自我验证生成提示词和参考片段，为视频编辑模型注入外部专业动作知识。
正文 · AI 翻译
摘要：在大规模训练数据的支持下，视频编辑模型在修改外观、背景、风格和动作方面取得了强劲的性能。除了一般场景之外，专业动作在表演、体育和武术中也具有重要意义。本文关注专业动作编辑，这涉及细粒度的动作技巧和时间结构。由于专业动作名称缺乏详细描述，现有模型往往无法生成专业动作，例如在 Stoppie 指令下错误地抬起前轮。为应对这一挑战，我们提出了 MotionCoach，一个经过训练的多模态智能体，它使用多轮工具并进行自我验证，生成有依据的提示词和参考片段，作为可靠且充分的多模态引导，将外部专业动作知识注入视频编辑模型。为提供训练数据，我们构建了一个数据流水线来构造轨迹。我们在 MotionCoach-SFT-10k 上对智能体进行冷启动，并在 MotionCoach-RL-2k 上应用组相对策略优化（GRPO），对动作引导提示词、动作结果视频和格式给予奖励。在评估方面，我们提出了 VPMEBench，包含 314 个专业动作编辑任务，配有细粒度参考和标注。大量实验表明，MotionCoach 在 Seedance 2.0 上将总体得分从 55.1 提升至 65.6，在 MiniMax-H3 上从 51.2 提升至 64.5。学习构建多模态引导能够实现精确的专业动作编辑，而无需重新训练视频编辑模型。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；多媒体（cs.MM） |
| 引用为： | arXiv:2610.12963 [cs.CV] |
| （或 arXiv:2610.12963v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12963 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yichen Lu [查看电子邮件]
[v1]
2026年10月9日星期五 04:08:06 UTC（9,908 KB）
来源：arXiv cs.AI · arxiv.org