跳到正文
arXiv cs.AI· Shaohao Rui, Chaoyang Zhang, Xiaofeng Mao, Weijie Ma·· 4 小时前AI 评分52

LynnReal-Hand:用手部动作控制视频世界模型

LynnReal-Hand: Unlocking World Interaction with Hand Control

AI 导读

LynnReal-Hand 是一个手控视频世界模型,将精细手物交互建模与高效流式生成统一起来。作者构建了 10 万条交互片段数据集,结合手部感知监督、因果流映射少步生成与区域感知分数蒸馏,并提出 Ultra-Fast-VAE 降低推理延迟。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:交互式视频世界模型能够通过文本和相机控制进行探索,但直接的对象交互需要更精细的控制。手部提供了自然的交互界面,然而由于复杂的手-物动态以及苛刻的实时计算需求,将连续的手部运动转化为连贯的视觉响应仍然具有挑战性。为应对这些挑战,我们提出了 LynnReal-Hand,一种手部控制的视频世界模型,将精确的交互建模与高效的流式生成统一起来。我们整理了涵盖多样真实与合成环境的 10 万条交互片段,并开发了手部感知监督以改善细粒度手部运动和对象交互。在此基础上,我们学习了一个用于少步生成的因果流映射,并引入了区域感知分数蒸馏,结合互补的视频和图像先验来优化交互动态和视觉外观。为进一步降低推理延迟,我们提出了 Ultra-Fast-VAE,一种紧凑的视频解码器,在显著降低计算成本的同时保持高重建保真度。在 HandBench 上的大量评估表明,与现有方法相比,该方法具有更优的手部跟随准确性和视觉质量。我们的全序列模型实现了 181.67 的 FVD 和 93.02 的 MANO Dice 分数,而三步因果模型保持了 92.49 的 MANO Dice 分数。对于实时交互,在单块 H200 上进行 540p 流式生成可达到 18.03 FPS,延迟为 741ms,优化后的峰值 GPU 内存占用仅为 34.89GB。我们将发布数据集、模型权重以及完整的训练和推理代码,以支持手部控制视频世界模型的研究。
评论: 手部控制的视频生成
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.21479 [cs.CV]
  (或 arXiv:2611.21479v2 [cs.CV] 为此版本)
  https://doi.org/10.48550/arXiv.2611.21479

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Shaohao Rui [查看邮箱]
[v1] 2026年11月16日星期一 17:51:44 UTC(24,309 KB)
[v2] 2026年11月17日星期二 18:53:57 UTC(24,795 KB)

来源:arXiv cs.AI · arxiv.org