arXiv cs.AI· Kia-J\"ung Yang, Fabian H. Sinz, Pawe{\l} A. Pierzchlewicz·· 11 小时前AI 评分31
基于可学习扁平化的 Transformer 实现跨骨架动作重定向
Retargeting Motions to Diverse Skeletons via Learnable Flattening
AI 导读
研究者提出一种 Transformer 自编码器,通过学习拓扑与平移不变的潜在空间实现跨结构动作重定向,核心是可学习的骨骼图扁平化,并将图位置编码以乘法方式融入 token。该模型以全无监督方式训练、无需配对重定向数据,在零样本评测中把全局关节位置误差较现有基准降低 43-47%。37 人用户研究(含专业动画师)中该方法在动作对齐与物理合理性上排名最高(p < 0.05)。
正文 · AI 翻译
摘要:跨结构运动重定向旨在在不同骨骼拓扑之间迁移运动。尽管近期取得了进展,现有最先进模型在零样本设置下仍难以保证可靠性,即在训练期间未见过的不同拓扑骨骼上表现不佳,而近期基于 Transformer 的尝试也未能超越专门的几何方法。我们通过一个学习拓扑与平移不变潜空间的 Transformer 自编码器弥合了这一差距。我们的核心贡献是一种可学习的骨骼图展平方法,它同时捕捉局部依赖和全局结构。与标准 Transformer 架构将位置信息加到 token 内容上不同,我们以乘法方式整合基于图的位置编码,这一设计选择直接源于我们的展平公式。所得模型在单一统一架构中处理多样的骨骼拓扑,并以完全无监督的方式训练,无需成对的重定向数据。消融研究表明,图编码、乘法公式和 Transformer 主干对性能至关重要。在零样本评估中,我们的方法相比当前基准将全局关节位置误差降低了 $43-47\%$。一项用户研究($n = 37$),包括专家动画师,进一步将我们的方法在运动对齐和物理合理性方面评为最高($p < 0.05$)。这些结果表明,我们的模型设计是使 Transformer 架构在运动重定向中有效的关键,优于现有方法。
| 评论: | 24 页,9 张图 |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2609.38578 [cs.CV] |
| (或此版本的 arXiv:2609.38578v3 [cs.CV]) | |
| https://doi.org/10.48550/arXiv.2609.38578 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Kia-Jüng Yang [查看邮箱]
[v1]
2026 年 9 月 29 日星期二 21:35:57 UTC(12,040 KB)
[v2]
2026 年 10 月 1 日星期四 06:18:02 UTC(12,040 KB)
[v3]
2026 年 10 月 19 日星期一 23:47:22 UTC(12,041 KB)
来源:arXiv cs.AI · arxiv.org