跳到正文
arXiv cs.CL· Jongbhin Woo, Youngjoon Jang, Joon Son Chung·· 9 小时前AI 评分18

SignAligner:用双粒度片段生成实现手语对齐

SignAligner: Dual-Granularity Span Generation for Sign Language Alignment

AI 导读

SignAligner 是一个提示词条件化的视觉-语言片段生成器,可将手语视频与字幕句子或目标词查询映射为文本形式的起止帧区间,先联合训练字幕片段与手语定位的词片段,再用重叠度奖励精调。在 BOBSL 字幕测试集上,精调后模型达到 66.68 F1@0.50,为无外部手语视频资源对比系统中最优。联合训练词片段可提升字幕对齐效果,且该优势在重叠度奖励精调后仍保留。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型手语语料库受益于两种尺度上的时间标签:用于字幕对齐的字幕片段和用于手语定位的词片段。手语定位已在语料库规模上按时间定位单词,但在字幕片段和词片段上联合训练字幕对齐仍研究不足。我们提出 SignAligner,一种以提示为条件的视觉-语言片段生成器,它将手语视频和字幕句子或目标词查询映射为文本形式的起始/结束帧区间。它首先在手语定位的字幕片段和词片段上联合训练,然后用基于重叠的奖励进行精炼,同时保留辅助词样本。在英国广播公司-牛津英国手语(BOBSL)语料库的字幕测试集上,精炼后的模型达到 66.68 F1@0.50(时间交并比阈值为二分之一的 F1),在未使用外部手语视频资源的对比系统中表现最佳。这种重叠奖励精炼优于从同一联合训练模型继续进行的交叉熵训练。在一对代码、标签和最大更新预算均匹配的生成器中,与词片段联合训练改善了字幕对齐。在该对的两个模型都用重叠奖励精炼后,这一优势仍然存在。对于词查询,精炼后的模型跟随所查询的词,而不是视频中的固定位置:当该词的手语位于远离视频中心的位置时,它比仅使用位置的预测准确得多。总之,这些发现支持一个共享的片段生成器,用重叠奖励进行精炼,对齐字幕并生成供人工审核的词片段。
评论: 11 页,5 幅图
主题: 计算机视觉与模式识别(cs.CV);计算与语言(cs.CL)
引用为: arXiv:2611.22409 [cs.CV]
  (或此版本的 arXiv:2611.22409v1 [cs.CV])
  https://doi.org/10.48550/arXiv.2611.22409

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Jongbhin Woo [查看电子邮件]
[v1] 2026年11月17日星期二 08:47:09 UTC(1,503 KB)

来源:arXiv cs.CL · arxiv.org