arXiv cs.AI· Hongyu Wu, Xu Wu, Tianhao Wu, Jiawei Yu, Phuc Nguyen, Jian Liu, Yi Wu·· 3 天前AI 评分22
SeRV：面向美国手语生成的语义对齐残差向量量化
SeRV: Semantic-Aligned Residual Vector Quantization for American Sign Language Generation
AI 导读
SeRV 是一种面向美国手语（ASL）生成的语义对齐 RVQ 分词器，通过全局运动-文本对齐与 token 级文本条件监督学习语义化残差 token 空间，并由分层 GPT 以由粗到细方式预测残差运动 token，生成 3D ASL 动作。
正文 · AI 翻译
摘要：美国手语（ASL）生成仍然具有挑战性，原因在于配对的文本-ASL 动作数据有限，以及难以学习既精确到足以重建、又能从语言输入中预测的动作表示。现有方法依赖于针对重建优化的动作分词器，缺乏来自配对文本的显式语义监督。因此，所学到的 token 在支持语义一致且细粒度的 ASL 动作生成方面仍然受限。为解决这一局限，我们提出 SeRV（语义对齐残差向量量化），一种用于 ASL 生成的语义对齐 RVQ 分词器。SeRV 通过将全局级动作-文本对齐与 token 级文本条件监督相结合，学习一个语义结构化的残差 token 空间。在此分词器的基础上，分层 GPT 以由粗到细的方式预测残差动作 token，生成结构连贯且语义对齐的 3D ASL 动作。我们进一步通过从 OpenASL 视频中恢复配对的 3D 动作，构建了一个大规模重建的 3D ASL 动作-文本基准。在 How2Sign 和 OpenASL 上的实验表明，SeRV 优于六个最先进的基线，并通过用户研究评估了重建质量和语义保真度。我们重建的 3D ASL 动作样本可在项目页面获取：this https URL。
| Comments: | 18 页；修订稿，包含更新的实验和额外分析 |
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| Cite as: | arXiv:2609.05742 [cs.CV] |
| （或 arXiv:2609.05742v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.05742 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Hongyu Wu [查看邮箱]
[v1]
2026 年 9 月 4 日星期五 21:41:17 UTC（43,450 KB）
[v2]
2026 年 10 月 13 日星期二 05:39:27 UTC（5,886 KB）
来源：arXiv cs.AI · arxiv.org