1020 Group 的 Pterodactyl 系统：面向 WMT26 翻译质量评估的高效低成本方案

Pterodactyl: Pushing the Limits of Efficient Automated Translation Evaluation

AI 导读

1020 Group 为 WMT26 自动质量评估共享任务提交了 Pterodactyl 系统，专攻子任务 2 和 3，即片段级质量分数预测与无错误片段检测。该系统基于 LLM-as-a-judge 方法，通过 ROC 分析指导提示词工程与模型选择，定位为高度可定制、超低成本的二分类方案，用于翻译分流与数据筛选。团队还针对子任务 3 开发了多个适配变体。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：本文介绍 1020 Group 在 WMT26 自动质量评估共享任务中的提交。我们的系统 Pterodactyl 专为子任务 2 和 3 设计，即片段级质量分数预测和无错误片段检测。Pterodactyl 是一个高度可定制、超低成本的系统，针对翻译分诊和数据整理中的二分类进行了优化。它基于 LLM-as-a-judge 方法，提示工程和模型选择由 ROC 分析指导。我们还开发了 Pterodactyl 的若干变体，专门适配子任务 3。

评论：	6 页，4 幅图
主题：	计算与语言（cs.CL）
引用为：	arXiv:2611.14480 [cs.CL]
	（或 arXiv:2611.14480v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.14480 由 DataCite 颁发的 arXiv DOI（待注册）
期刊参考：	第十一届机器翻译会议论文集（WMT 2026），第 1638-1643 页，2026 年
相关 DOI：	https://doi.org/10.18653/2026.wmt-main.96 链接到相关资源的 DOI

提交历史

来自：Evelyn Garland [查看电子邮件]
[v1] 2026 年 11 月 10 日星期二 18:41:37 UTC（657 KB）

来源：arXiv cs.CL · arxiv.org