大语言模型用于机器翻译质量标注：人类与模型双双面临挑战
Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged
Apple 研究团队评估了 LLM 在 MQM 和 ESA 两种机器翻译质量标注方案上的表现，在覆盖 70 个语言对的长上下文测试集及 WMT23、WMT25 公开数据上对比其与人类标注者的一致性。
作者Hala Almaghout、Christian Federmann、Qin Gao
大型语言模型（LLM）被认为是在机器翻译（MT）评估中比人工判断更高效、更具成本效益的替代方案。由于机器翻译评估涵盖大量语言对、领域和标注粒度级别，在将 LLM 可靠地用作人工评估的替代方案之前，必须跨这些维度对其进行全面评估。在本文中，我们评估了 LLM 在两种重要机器翻译质量评估方案中的表现：多维质量指标（MQM）和错误片段标注（ESA），通过比较其与人工标注者的一致性来进行。我们展示了在包含 70 个语言对的长上下文测试集以及公开可用的 WMT23 和 WMT25 数据上的结果，考察了多种语言对和领域中的评分与错误片段标注一致性。我们的结果表明，尽管在某些评估任务中 LLM 与人工标注者的一致性超过了人工标注者之间的一致性，但两者都会因标注方案、语言对和领域的不同而存在显著差异，并且在大多数设置下仍不可靠。此外，我们识别了人工和 LLM 标注者共同面临的挑战：人工标注者尤其受到细粒度 MQM 标注和低资源语言对的挑战，而 LLM 则在细微错误、错误语言变体和错误片段标注方面表现不佳。我们的结果凸显了人工和 LLM 标注性能均有提升的潜力，可能通过人机协作标注流程来解决本工作中识别出的可靠性问题。
相关阅读和更新。
安全政策定义了什么是安全和不安全的 AI 输出，指导数据标注和模型开发。然而，标注分歧普遍存在，可能源于多种原因，例如操作失误（标注者误解或错误执行任务）、政策模糊（政策措辞留有解释空间）或价值多元主义（不同标注者对安全持有不同观点）。区分这些……
机器学习（ML）和人工智能（AI）系统严重依赖人工标注数据进行训练和评估。在此背景下，一个主要挑战是标注错误的出现，因为其影响会降低模型性能。本文提出了一种预测性错误模型，经过训练用于检测三个行业级 ML 应用（音乐流媒体、视频流媒体和……）的搜索相关性标注任务中的潜在错误。
来源：Apple Machine Learning Research · machinelearning.apple.com