arXiv cs.AI· Pushp Garg, Himangshu Sarma, Mrinmoy Ghorai·· 3 天前AI 评分22
混合运动学 GCN 与弹性 Transformer 实现高效印度手语识别
A Hybrid Kinematic GCN and Elastic Transformer for Efficient Indian Sign Language Recognition
AI 导读
研究提出一种结构感知混合框架用于印度手语（ISL）词汇级识别，结合熵驱动 SVD 采样器提取关键帧、连续双位置编码与距离感知 Elastic Transformer，以及运动学条件自适应 GCN 建模双手几何。团队构建了 120 类、9,453 段视频的 ISL 数据集，配合 Physical Node Dropout 与 ArcFace 优化，取得 89.8% 准确率，为复杂手语建模建立强基线。
正文 · AI 翻译
摘要：手语识别（SLR）因手语速度多变和空间复杂性而面临诸多挑战。具体而言，印度手语（ISL）需要对其固有的双手性进行精确建模，并且受限于大规模词汇基准的稀缺以及标准模型无法处理不规则的手语速度。为解决这一问题，提出了一种结构感知的混合框架，用于高效的手语词汇（gloss）ISL 识别。为最小化计算冗余，采用了一种熵驱动的 SVD 采样器，动态提取信息量大的关键帧。由于这种子采样会产生不规则的物理时间间隔，所提出的架构采用了连续双位置编码，并结合距离感知的弹性 Transformer，以保留自然的手语节奏。在空间上，运动学条件自适应 GCN 使用统一的骨骼-关节特征显式地对双手几何结构进行建模。为验证我们的框架，创建了一个包含 120 个类别、9,453 个视频的原生 ISL 数据集。通过物理节点丢弃和 ArcFace 优化来缓解受试者特定的记忆，我们的框架达到了具有竞争力的 89.8% 准确率，为复杂手语建模建立了强有力的基线。
| 学科： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.14680 [cs.AI] |
| （或 arXiv:2610.14680v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14680 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pushp Garg [查看电子邮件]
[v1]
2026年10月10日星期六 07:50:57 UTC（2,938 KB）
来源：arXiv cs.AI · arxiv.org