跳到正文
arXiv cs.CL· Terry Yue Zhuo, Qiongkai Xu, Xuanli He, Trevor Cohn·· 2 天前AI 评分26

重新审视往返翻译在机器翻译评估中的作用

Rethinking Round-Trip Translation for Machine Translation Evaluation

AI 导读

研究发现往返翻译可用于无参考的机器翻译自动评估。对 SMT 评估的重新审视表明,其长期被误解的根源在于复制机制,移除该机制后往返翻译分数能恰当反映正向翻译性能。往返翻译可用于预测正向翻译分数、提升质量估计模型表现,并通过跨系统验证识别共享任务中的对抗性竞争者。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:低资源语言翻译的自动评估受困于平行语料的匮乏。往返翻译可以作为一种巧妙而直接的技术,来缓解对平行评估语料的需求。然而,在统计机器翻译(SMT)时代,人们观察到正向翻译与往返翻译的评估分数之间存在模糊的相关性。在本文中,我们报告了一个令人惊讶的发现:往返翻译可用于无参考的自动评估。首先,我们对 SMT 评估中往返翻译的重新审视揭示,其长期存在的误解本质上是由复制机制造成的。在去除 SMT 中的复制机制后,往返翻译分数能够恰当地反映正向翻译性能。然后,我们证明这一修正是迟来的,因为往返翻译可以惠及多项机器翻译评估任务。更具体地说,往返翻译可用于 i)预测相应的正向翻译分数;ii)提升近期先进的质量估计模型的性能;以及 iii)通过跨系统验证在共享任务中识别对抗性竞争者。
评论: 被 ACL 2023 Findings 接收
主题: 计算与语言(cs.CL)
引用为: arXiv:2209.07351 [cs.CL]
  (或 arXiv:2209.07351v4 [cs.CL] 查看此版本)
  https://doi.org/10.48550/arXiv.2209.07351

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Terry Yue Zhuo [查看电子邮件]
[v1] 2022 年 9 月 15 日星期四 15:06:20 UTC(273 KB)
[v2] 2022 年 12 月 13 日星期二 09:51:19 UTC(1,069 KB)
[v3] 2023 年 5 月 15 日星期一 11:33:20 UTC(1,070 KB)
[v4] 2026 年 11 月 13 日星期五 11:29:10 UTC(919 KB)

来源:arXiv cs.CL · arxiv.org