SignAligner:双粒度跨度生成用于手语对齐
热点事件持续更新
SignAligner:双粒度跨度生成用于手语对齐
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Jongbhin Woo、Youngjoon Jang 与 Joon Son Chung 提交论文,提出 SignAligner——一个提示词条件化的视觉-语言片段生成器,输入手语视频和字幕句子或目标词查询,输出文本形式的起止帧区间,用于字幕对齐与词汇定位。 方法上先联合训练字幕片段与手语定位的词片段,再用重叠度奖励精调。在 BOBSL 字幕测试集上,精调后模型达到 66.68 F1@0.50,作者称其为无外部手语视频资源的对比系统中最优。作者还称,联合训练词片段能提升字幕对齐效果,且该优势在重叠度奖励精调后仍保留。
AI 根据报道生成 · 5 分钟前更新
最新进展11月18日 13:00
SignAligner:用双粒度片段生成实现手语对齐报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- arXiv cs.CLSignAligner:用双粒度片段生成实现手语对齐
SignAligner 是一个提示词条件化的视觉-语言片段生成器,可将手语视频与字幕句子或目标词查询映射为文本形式的起止帧区间,先联合训练字幕片段与手语定位的词片段,再用重叠度奖励精调。在 BOBSL 字幕测试集上,精调后模型达到 66.68 F1@0.50,为无外部手语视频资源对比系统中最优。联合训练词片段可提升字幕对齐效果,且该优势在重叠度奖励精调后仍保留。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。