arXiv cs.CL· Thapelo Sindane, Unarine Netshifhefhe, Vukosi Marivate, Abiodun Modupe, Herkulaas Combrink, Ketro Sithole·· 10 小时前AI 评分24
Maswao：面向南非手语的自动采集、制备与基准测试数据集
Maswao: An automatically collected, prepared, and benchmarked dataset for the South African Sign language
AI 导读
研究团队提出一套几乎无需人工干预的手语数据集自动采集与制备框架，并以南非手语（SASL）为试验对象构建了 Maswao 数据集：从新闻广播等公开资源采集视频，用 ASR 工具将音频转为文本，裁剪手语区域并通过梯度下降定位非运动低谷以切分句子，形成弱句子对齐平行语料。
正文 · AI 翻译
摘要：手语处理领域近期的进展可归功于大规模数据集收集以及算法复杂性方面的发展，例如姿态估计技术、通过 Transformer 模型进行的信号处理以及模型优化。然而，在全球公认的 200 多种手语中，只有少数几种，如美国手语、英国手语和德国手语，从这些进展中受益，其余手语则处于落后状态。在本研究中，我们以南非手语（SASL）为试验平台，提出一个在极少人工干预下自动收集和准备手语数据集的框架，旨在解决这一技术差距。具体而言，我们利用新闻广播等公共资源自动收集 SASL 视频内容。此外，我们使用现有的自动语音识别（ASR）工具将其附带的音频流转换为文本。进一步地，我们裁剪视频中的手语区域，并使用梯度下降定位无运动谷值，以确定长视频中的句子结束点，从而构建我们的弱句子对齐平行语料库——Maswao（手语）数据集。最后，我们在手语到文本翻译任务上使用循环神经网络和 Transformer 模型对弱对齐数据集进行基准测试，以比较它们各自的复杂性。我们的结果表明，文献中提出的 Transformer 模型优于循环基线，表现最佳的 Transformer 在 BLEU-1 至 BLEU-4 上分别达到 13.78、5.21、2.52 和 1.54 分，以及 ChrF = 18.09 和 ROUGE-L = 10.51。这些结果表明该任务仍具有前景，值得进一步研究。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.02903 [cs.CL] |
| （或 arXiv:2611.02903v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02903 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Thapelo Sindane [查看电子邮件]
[v1]
2026年11月2日星期一 10:36:22 UTC（2,562 KB）
来源：arXiv cs.CL · arxiv.org