跳到正文
arXiv cs.AI· Sangeyl Lee, Seunghyun Shin, Seungho Park, Wooseok Jeon, Hae-Gon Jeon·· 3 天前AI 评分24

WeLike2Party:无需显式姿态提取的多人物图像动画上下文动作迁移

WeLike2Party! In-Context Motion Transfer for Multi-Human Image Animation

AI 导读

研究者提出 WeLike2Party,一个基于直接上下文视频条件的多人物动画框架,推理时无需提取显式姿态或人体网格,并引入 Reference Asymmetric RoPE Conditioning 与 Identity Binding Supervision 来保持外观细节和身份-动作绑定。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:人体图像动画旨在将驱动视频中的运动迁移到参考图像中的主体上。尽管视频生成领域已取得显著进展,但实现多个交互主体的高保真动画仍是一项挑战。许多现有方法依赖显式运动表示,如 2D 骨架或参数化人体网格,并且在人物相互遮挡的情况下难以保持身份与运动的绑定关系。为解决这一局限,我们提出 WeLike2Party,一个多人物动画框架,其基于直接的上下文视频条件,在推理时无需显式提取姿态或网格。我们进一步引入参考非对称 RoPE 条件(Reference Asymmetric RoPE Conditioning)以保留细粒度外观细节,并引入身份绑定监督(Identity Binding Supervision)将每个参考身份与其预期的运动轨迹相关联。为支持跨身份训练,我们构建了 MotionTwin,一个大规模合成数据集,包含 14.4K 个跨身份视频对,这些视频对共享主体和相机运动,总计 84.3 小时的照片级真实感视频。我们还提出了 MotionTwin-Bench,一个专为评估主体级视觉保真度和身份-运动绑定而设计的跨身份基准。在 MotionTwin-Bench 和真实世界视频上的大量实验表明,WeLike2Party 在主体级视觉保真度、身份-运动绑定和整体感知质量方面优于近期最先进的方法,尤其是在存在大量遮挡的多人物交互场景中。
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2609.36937 [cs.CV]
  (或 arXiv:2609.36937v2 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2609.36937

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Seunghyun Shin 先生 [查看电子邮件]
[v1] 2026年9月29日星期二 07:50:05 UTC(25,028 KB)
[v2] 2026年10月13日星期二 07:05:17 UTC(25,028 KB)

来源:arXiv cs.AI · arxiv.org