arXiv cs.AI· Noam Rotstein, Yoad Tewel, Chen Tessler, Haggai Maron, Gal Chechik, Or Litany, Yoni Kasten, Yuval Atzmon·· 12 小时前AI 评分42
Joints, Camera, Action!：为任意骨骼绑定联合生成 3D 运动与视频
Joints, Camera, Action! Co-Generating 3D Motion and Video for Arbitrary Rigs
AI 导读
研究者提出一种模型，可为任意骨骼绑定直接联合生成视频与 3D 运动，并给出将运动对齐到场景的相机。该模型将支持任意骨架的 3D 运动模型与预训练视频模型通过少量 cross-attention 层连接，先仅用运动数据学习骨架运动，再借关节在视频帧中的定位恢复相机。
正文 · AI 翻译
摘要：视频生成模型如今能够呈现非常逼真的运动。然而，如何将这种运动用于像素之外仍不明确：例如为某个特定的 3D 资产制作动画，并在其 3D 场景中回放该动画。例如，视频模型可以展示一只猴子跳过横杆，但它无法将这次跳跃作为可回放的 3D 运动返回到 3D 场景中。在此，我们提出一个模型，它能为任意给定的骨骼绑定直接联合生成视频与 3D 运动，并生成一个将该运动配准到场景中的相机。此前的视频-运动模型要么只处理人体骨架，且往往增加数十亿参数，要么从生成的 2D 姿态图三角化出 3D 运动。我们则不同，将 3D 运动保留在一个支持任意骨架的独立模型中，并通过少量交叉注意力层将其连接到预训练视频模型。这种分离使运动模型能够先从纯运动数据中学习骨架如何运动，而这类数据比成对视频更易获取和增强。此外，我们的模型学习在视频帧中定位每个关节，这使我们能够恢复相机并将 3D 运动放置到场景中。为跨多种骨架进行训练，我们使用生成式视频编辑器将动画 3D 资产放置到与其动作相适配的场景中，并对这些编辑进行筛选，使其已知运动仍然有效。结合人类与机器人视频，这产生了近 200K 个训练对。我们的评估表明，与视频优先的流程相比，我们的模型能更忠实地根据文本为多种骨骼绑定制作动画，且其运动会对周围场景作出响应。它还能将视频转换为骨骼运动、将骨骼运动转换为视频，并支持对 3D 运动进行基于关键帧的控制。视频及更多结果见我们的项目主页：this https URL。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；图形学（cs.GR）；机器学习（cs.LG）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.28632 [cs.CV] |
| （或 arXiv:2610.28632v1 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.28632 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Noam Rotstein [查看邮箱]
[v1]
2026年10月20日星期二 17:59:56 UTC（6,339 KB）
来源：arXiv cs.AI · arxiv.org