arXiv cs.AI· Pengyang Shi, Jinlu Zhang, Chunze Lin, Yizhou Wang, Li Yi·· 1 天前AI 评分31
CFGComposer：通过 Copula 分数校正实现组合式音频-文本到动作生成
CFGComposer: Compositional Audio-Text-to-Motion Generation via Copula Score Correction
AI 导读
CFGComposer 是一个联合训练的音频-文本到动作（AT2M）扩散模型，通过 CFG 类比估计 copula 分数 s_I 并以 ε 空间校正注入，弥补朴素 ε 混合（即 Product-of-Experts）遗漏的跨模态交互。
正文 · AI 翻译
摘要：生成与语音音频节奏同步、且与文本描述语义一致的全身体势，是具身 AI 与社交机器人领域的一项基础性挑战。我们在推理阶段组合两个独立训练的扩散模型来解决这一音频-文本到动作（AT2M）问题，并通过建模 copula 得分 $s_I$ 来修正联合推理中的偏差。严格的理论分析表明，朴素的 epsilon 混合对应于一种省略了 copula 得分 $s_I$ 的专家乘积（Product-of-Experts）形式：即音频与文本之间任何单一模态模型都无法捕捉的跨模态交互。我们提出 CFGComposer：一个联合训练的 AT2M 扩散模型，它通过 CFG 类比来估计 $s_I$，并将其作为 $\epsilon$ 空间修正注入。在 BEAT 上的实验表明其具有同类最佳的语义保真度（SRGR $0.9916$，FID $27.18$），节拍对齐达到 GT 水平（BA $0.1826$ 对比 GT $0.1743$），并且在针对所有先前方法的盲式成对人类评估中取得 76-83% 的胜率。在 Unitree G1 人形机器人上的物理部署证实了直接的仿真到现实迁移。
| 学科： | 声音（cs.SD）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.15101 [cs.SD] |
| （或 arXiv:2611.15101v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.15101 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pengyang Shi [查看邮箱]
[v1]
2026年11月11日星期三 06:28:18 UTC（8,640 KB）
来源：arXiv cs.AI · arxiv.org