跳到正文
arXiv cs.CL· Zubair Ajmal Farooq, Diptesh Kanojia·· 3 天前AI 评分22

在 Jetson Nano 上运行的质量感知自校正语音翻译系统

Quality-Aware Self-Correcting Speech Translation on an Edge Device

AI 导读

一套完全离线的语音到语音翻译流水线可在 Jetson Nano(4 GB)上运行,无需重训练即可自我纠正弱翻译:Whisper-tiny 做 ASR,Opus-MT 做翻译,多语言 BERT 余弦相似度作为质量估计(QE)门控,置信度低于阈值 τ 时触发二次翻译。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:我们提出了一种完全离线的语音到语音翻译流水线,可在 Jetson Nano(4 GB)上运行,并能在无需重新训练的情况下纠正自身较弱的翻译。Whisper-tiny ASR 为 Opus-MT 翻译器提供输入;多语言 BERT 余弦相似度充当质量估计(QE)门控,当置信度低于预定义阈值 $\tau$ 时触发二次处理。我们比较了三种纠正方法:QE 重排序(M1)、最小贝叶斯风险解码(M2)和约束束搜索(M3)。在 1,012 句 FLORES-200 句子(英语-西班牙语)上,$\tau=0.90$ 时的 M2 在 BLEU(+0.67,p<0.001)、ChrF(+0.51,p<0.001)和 COMET(N=3 时 +0.0020,p=0.002)上相较于贪心解码产生了统计显著的提升;M1 没有带来显著增益,而 M3 显著差于基线(p>0.99)。我们的核心发现是,QE 作为门控很有效,但作为排序器效果很差:从候选选择中移除 QE 模型(M1$\to$M2)不会损害质量,并从关键路径中释放了 680 MB。使用改编自译后编辑工作量文献的增益与编辑比率,我们进一步表明,较小的候选池(N=3)产生更具针对性的纠正,并具有更好的语义充分性,而较大的候选池(N=10)则最大化词汇奖励。我们发布了该系统,并演示了六种语言对的实时翻译。
评论: v2:添加了代码仓库链接;更正了图表、表格标签和少量文本。7 页,2 幅图,4 张表。完整论文已提交至 Convergence 2026 会议论文集;海报在萨里大学举行的 Convergence 2026 上展示。代码:此 https URL
主题: 计算与语言(cs.CL)
引用为: arXiv:2610.07545 [cs.CL]
  (或 arXiv:2610.07545v2 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.07545

由 DataCite 颁发 arXiv DOI

提交历史

来自:Zubair Ajmal Farooq [查看电子邮件]
[v1] 2026 年 10 月 6 日星期二 00:21:08 UTC(388 KB)
[v2] 2026 年 10 月 14 日星期三 08:03:16 UTC(134 KB)

来源:arXiv cs.CL · arxiv.org