arXiv cs.CL· Dmitry Popov, Vladislav Negodin, Ekaterina Enikeeva, Iana Matrosova, Nikolay Karpachev, Max Ryabinin·· 16 小时前AI 评分31
RATE 协议：面向人类水平机器翻译的新评估框架
Refined Assessment for Translation Evaluation: Rethinking Machine Translation Evaluation in the Era of Human-Level Systems
AI 导读
研究提出 RATE（Refined Assessment for Translation Evaluation）协议，针对 MQM 和 ESA 等现有评估方法的标注者水平不一、分类过繁、严重度粒度过粗、偏重准确率而忽视流畅度等局限，构建了由专业语言学家对 WMT24 英俄翻译进行人工评估的高质量数据集。
正文 · AI 翻译
摘要：随着机器翻译系统接近人类水平的质量，传统评估方法难以检测细微的翻译错误。我们批判性地审视了当前金标准方法（MQM 和 ESA）的局限性，包括标注者专业水平不一导致的不一致、分类过度复杂、严重程度粒度粗糙、准确性偏向而非流畅性、以及时间限制。为解决这一问题，我们引入了一个高质量数据集，由专业语言学家对 WMT24 的英俄翻译进行人工评估构成。我们表明，无时间压力的专家评估与标准评估产生的结果存在显著差异。为使这些专家能够进行一致且丰富的标注，我们开发了 RATE（翻译评估精细化评估）协议。RATE 提供了简化的错误分类体系、扩展的严重程度评级，以及平衡准确性与流畅性的多维评分，便于对机器翻译输出进行更深入的分析。基于这一专家数据集的分析表明，最先进的机器翻译系统在准确性上可能已超越人工翻译，但在流畅性上仍然落后——这一关键区别被现有偏向准确性的指标所掩盖。我们的发现强调，推进机器翻译评估不仅需要更好的协议，更关键的是需要来自熟练语言学家的高质量标注。
| 评论： | 发表于 Findings of EMNLP 2025。17 页。数据集：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.33749 [cs.CL] |
| （或 arXiv:2610.33749v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33749 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | Findings of the Association for Computational Linguistics: EMNLP 2025, pp. 22079-22095 (2025) |
| 相关 DOI： | https://doi.org/10.18653/v1/2025.findings-emnlp.1203
链接到相关资源的 DOI |
提交历史
来自：Dmitry Popov [查看邮箱]
[v1]
2026年10月24日 星期六 15:48:47 UTC（1,334 KB）
来源：arXiv cs.CL · arxiv.org