arXiv cs.AI· Yiheng Li, Zhuo Li, Ruibing Hou, Yingjie Chen, Hong Chang, Hao Liu, Shiguang Shan·· 13 小时前AI 评分29
AnyMo：用掩码建模扩展任意模态条件动作生成
AnyMo: Scaling Any-Modality Conditional Motion Generation with Masked Modeling
AI 导读
AnyMo 是一个统一多模态框架，结合基于 Residual FSQ 的动作 tokenizer 与可扩展掩码建模 Transformer，支持任意模态组合下的高质量动作合成。研究团队同时构建了 OmniHuMo 数据集，包含超 5,000 小时动作、320 万条序列，并精确对齐文本、语音、音乐和轨迹等多模态标注。实验显示 AnyMo 在实现高保真合成的同时，可对空间与风格属性进行灵活控制。
正文 · AI 翻译
摘要：条件式人体动作生成仍然是计算机视觉与机器人学中的一项基础性挑战。尽管已取得显著进展，现有方法往往受限于固定的模态配置和特定任务的架构，使得跨模态交互以及多模态条件合成的缩放规律在很大程度上仍未被充分探索。一个关键瓶颈在于缺乏大规模模态对齐的动作数据，限制了跨多种控制信号的泛化能力。在本工作中，我们提出了 OmniHuMo，这是一个大规模、高质量的数据集，包含超过 5,000 小时的动作数据和 320 万条序列，并配有精确对齐的多模态标注（例如文本、语音、音乐和轨迹）。基于 OmniHuMo，我们提出了 AnyMo，这是一个统一的多模态框架，将基于残差 FSQ 的动作分词器与可扩展的掩码建模 Transformer 相结合，能够在任意模态组合下实现高质量的动作合成。大量实验表明，AnyMo 在实现高保真合成的同时，还能对空间属性和风格属性提供灵活的控制。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.29488 [cs.CV] |
| （或本版本的 arXiv:2605.29488v3 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2605.29488 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：YiHeng Li [查看邮箱]
[v1]
2026年5月28日 星期四 07:15:19 UTC（32,642 KB）
[v2]
2026年5月31日 星期日 04:55:43 UTC（32,642 KB）
[v3]
2026年10月29日 星期四 06:08:58 UTC（32,642 KB）
来源：arXiv cs.AI · arxiv.org