研究系统考察LLM机器翻译评估器设计选择

Dmitry Popov等作者发表了一项系统研究，考察基于LLM的机器翻译评估器在指令设计、few-shot示例、基座模型选择和多步流程上的不同选择，如何影响span级评估和排序式评估。研究在WMT24、WMT25英俄翻译任务上收集了新的专家RATE标注。 研究覆盖四类设计变量：指令怎么写、给不给示例、用哪个基座模型、是否采用多步流程；评估对象则分为span级和排序式两类。目前公开信息只说明研究考察了这些变量与两类评估的关系，未给出哪类设计更优的结论。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。