arXiv cs.CL· Junyi Hu, Zhewen He, Haomian Huang, Zhenhua Li, Zhifei Li, Shuaihang Yuan, Yi Fang·· 11 小时前AI 评分31
SignDEG：用 DINO 自监督学习吸收手部关节几何的手语表征
DINO Eats Geometry: Self-Supervised Sign Representations that Absorb Articulated Hand Geometry
AI 导读
SignDEG 是一种时序手语编码器，以手部关节几何为预训练目标，推理时仅需视频。在 SHuBERT 公开数据评测协议下，How2Sign/OpenASL 上 BLEU-4 达 17.9/24.5，高于 SHuBERT 的 16.2/23.2；Rank-1 适配使 ASL Citizen 与 Sem-Lex 的 Recall@1 各提升 0.02。
正文 · AI 翻译
摘要：手形和朝向是手语的几何组成部分，然而许多手语编码器仅从外观进行学习。我们提出 SignDEG（DINO Eats Geometry），一种时序手语编码器，它使用关节手部几何作为预训练目标，并且在推理时只需要视频。被跟踪的手部和面部的冻结 DINOv3 特征输入到各流时序 Transformer 中。几何潜在预测（GLP）使用 WiLoR 潜在表示、MANO 关节运动和 3D 关节（包括在被掩码的帧上）来监督一个中间模块。几何关系迁移（GRT）在最终模块上匹配跨视频的帧相似度分布。这两个目标都与时序自蒸馏联合学习；随后丢弃 WiLoR 和几何头。在 SHuBERT 公开数据评估协议下，SignDEG 在 How2Sign/OpenASL 上达到 17.9/24.5 BLEU-4，而 SHuBERT 为 16.2/23.2。Rank-1 适配使 ASL Citizen 和 Sem-Lex 识别各提升 0.02 Recall@1，并且音系分类在 16 个属性上均有提升。在保留 GLP 的情况下去除 GRT 会使 How2Sign BLEU-4 降低 1.4，ASL Citizen Recall@1 降低 0.034。这些结果支持将关节结构迁移到外观编码器中，而无需在部署时运行手部重建模型。
| 评论： | 22 页，7 幅图 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2609.06296 [cs.CV] |
| （或此版本的 arXiv:2609.06296v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2609.06296 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junyi Hu [查看电子邮件]
[v1]
2026 年 9 月 5 日星期六 23:08:37 UTC（5,095 KB）
[v2]
2026 年 10 月 15 日星期四 20:29:41 UTC（3,039 KB）
来源：arXiv cs.CL · arxiv.org