arXiv cs.AI· Junsu Kim, Naeun Kim, Dongyoon Han, Seungryul Baek·· 11 小时前AI 评分29
HumanSkill-4D：免训练语言查询可动画 Gaussian 化身
HumanSkill-4D: Training-Free Language Querying of Animatable Gaussian Avatars in Space and Time
AI 导读
HumanSkill-4D 是一个免训练框架，用共享的多模态大语言模型和几何算子，从语言查询中选取可动画 Gaussian 化身的区域，并可按姿态或动作筛选匹配时段。它通过语义记忆将身体部位与服装类别关联到持久 Gaussian 区域，并用运动记忆中的驱动关节轨迹组合算子程序，使选择可追溯。作者同时提出三个真人标注基准，该框架在部位分割及 3D、4D 指代分割上优于基线，每个化身仅需数分钟设置。
正文 · AI 翻译
摘要：我们提出虚拟化身指代分割，即根据语言查询选择可动画高斯化身的区域。查询还可以指定姿势或动作，以选择匹配的时间区间。这让用户能够与化身交互，进行局部编辑和动作检查。然而，使用现有的语言高斯泼溅方法进行这些选择面临两个挑战：相邻部位和服装难以区分，且可能被间接指代（区域歧义），而细粒度动作在 RGB 中可能看起来相似（动作歧义）。我们通过 HumanSkill-4D 应对这些挑战，这是一个无需训练的框架，在多个化身之间共享一个多模态大语言模型（MLLM）和几何算子。对于每个化身，语义记忆将身体部位和服装类别与持久的高斯区域及外观描述关联起来。MLLM 使用类别名称和描述，按外观、关系或功能来选择类别。为了找到匹配的时间区间，它将算子组合成程序，在存储在动作记忆中的驱动关节轨迹上检查查询条件。这些类别选择和算子输出使选择过程可追溯，而组合或添加算子可支持新的动作条件。为了评估这项任务，我们引入了三个人工标注的基准，并表明 HumanSkill-4D 在部位分割以及 3D 和 4D 指代分割方面优于基线方法，且记忆紧凑，每个化身仅需几分钟的设置时间。
| 评论： | 29 页，14 幅图，16 张表。项目页面：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.24452 [cs.CV] |
| （或 arXiv:2610.24452v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.24452 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junsu Kim [查看电子邮件]
[v1]
2026 年 10 月 17 日星期六 04:43:01 UTC（15,629 KB）
[v2]
2026 年 10 月 20 日星期二 04:37:26 UTC（15,629 KB）
来源：arXiv cs.AI · arxiv.org