arXiv cs.CL· Hala Almaghout, Christian Federmann, Qin Gao·· 9 天前AI 评分24
大语言模型用于机器翻译质量标注：人类与模型双双面临挑战
Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged
AI 导读
研究评估了 LLM 在 MQM 和 ESA 两种机器翻译质量评估方案下与人类标注者的一致性，覆盖 70 个语言对的长上下文测试集及 WMT23、WMT25 公开数据。
正文 · AI 翻译
摘要：大型语言模型（LLM）被认为是机器翻译（MT）评估中比人工判断更高效、更具成本效益的替代方案。由于机器翻译评估涵盖大量语言对、领域和标注粒度级别，在将 LLM 可靠地用作人工评估的替代方案之前，必须跨这些维度对其进行全面评估。在本文中，我们针对两种重要的机器翻译质量评估方案：多维质量指标（MQM）和错误片段标注（ESA），通过比较 LLM 与人工标注者之间的一致性来评估 LLM 的性能。我们展示了在包含 70 个语言对的长上下文测试集以及公开可用的 WMT23 和 WMT25 数据上的结果，考察了多种语言对和领域下的分数与错误片段标注一致性。我们的结果表明，虽然在某些评估任务上 LLM 与人工标注者之间的一致性超过了人工标注者之间的一致性，但两者在标注方案、语言对和领域之间都存在显著差异，并且在大多数设置下仍不可靠。此外，我们识别出人工和 LLM 标注者共同面临的挑战：人工标注者尤其受困于细粒度的 MQM 标注和低资源语言对，而 LLM 则在细微错误、错误语言变体和错误片段标注方面表现不佳。我们的结果凸显了人工和 LLM 标注性能均有提升的潜力，可能通过人机协同标注流程来解决本工作中识别出的可靠性问题。
| Comments: | Accepted at EMNLP 2026 |
| Subjects: | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.10918 [cs.CL] |
| （或 arXiv:2610.10918v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10918 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hala Almaghout [查看电子邮件]
[v1]
2026年10月7日星期三 21:17:26 UTC（1,024 KB）
来源：arXiv cs.CL · arxiv.org