arXiv cs.CL· Varsha Suresh, Mohammad Mahdi Abootorabi, Mohamed Salman, M. Hamza Mughal, Christian Theobalt, Ashwin Ram, J\"urgen Steimle, Vera Demberg·· 10 小时前AI 评分24
Semantic Motion Anchors：用语义动作锚点连接语音手势的动作与含义
Semantic Motion Anchors: Bridging Motion and Meaning in Co-Speech Gestures
AI 导读
研究者提出“语义动作锚点”（semantic motion anchors），将 3D 手势离散为身体-手部动作基元并转写为结构化自然语言描述，再与转录文本对齐以提供辅助对比监督。
正文 · AI 翻译
摘要：学习口语文本与手势之间的共享表示是协同语音手势检索、合成与理解的核心，但对于那些仅凭动作无法捕捉其交际意图的语义手势而言，这仍然具有挑战性。转录文本与连续动作嵌入之间的直接对比对齐往往会过度强调低层运动学特征，而忽略语义手势的符号内容。我们提出语义动作锚点，即对手势动作的自然语言抽象，用以捕捉其物理形态与交际意图。我们的方法将 3D 手势离散化为身体—手部动作基元，将其转化为结构化描述，并将其锚定在转录文本中，以提供辅助对比监督。在 BEAT2 上，我们的方法相比直接的文本—动作基线将文本到手势的 R@1 提升了 8.2%，并在文本到手势和手势到文本两个检索方向上优于先前的检索方法。除聚合检索指标外，语义动作锚点监督有助于检索出对口语查询具有语义意义的手势，而不是默认采用通用动作模式。一项下游的检索增强手势生成研究表明，用户显著更偏好由我们的方法检索出的手势，而非检索增强生成基线，这表明语义锚定的检索能够转化为在下游生成中更好地传达交际意图的手势。
| 评论： | NeuRIPS 2026 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.30608 [cs.CL] |
| （或 arXiv:2605.30608v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.30608 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Varsha Suresh [查看邮箱]
[v1]
2026年5月28日星期四 22:01:11 UTC（2,355 KB）
[v2]
2026年6月1日星期一 14:43:09 UTC（2,363 KB）
[v3]
2026年6月6日星期六 20:59:52 UTC（2,355 KB）
[v4]
2026年11月9日星期一 21:37:28 UTC（2,584 KB）
来源：arXiv cs.CL · arxiv.org