arXiv cs.CL· Asal Mehrabi, Mohammad Aliannejadi, Clemencia Siro·· 12 小时前AI 评分34
研究揭示 LLM-as-a-Judge 提示策略效果取决于评审模型：覆盖 27 种语言的多语言研究
Prompting Strategy Effects Depend on the Judge: A Multilingual Study of LLM-as-a-Judge Robustness
AI 导读
一项覆盖 9 种提示策略、4 个开源评审模型、27 种语言、4 类任务和 13 个数据集的多语言研究发现，LLM-as-a-Judge 的提示策略不可迁移：评审模型的选择主导提示策略的效果，策略效果在不同评审模型间甚至会方向反转。
正文 · AI 翻译
摘要：LLM-as-a-Judge 评估正越来越多地应用于多语言任务，但 Chain-of-Thought 和 Role Conditioning 等提示策略仅基于英语基准被推荐。它们的有效性是否能跨评审模型和语言迁移仍未知：提示敏感性研究大多以英语为中心，而现有的多语言评审研究固定了提示模板。在本工作中，我们通过一个包含 9 种提示策略、4 个开放权重评审模型、27 种语言和 4 个任务（跨 13 个数据集）的基准来测量这种交互作用，从而填补这一空白，在黄金参考输出上产生了超过 100 万个逐点评分，并对照人工判断进行了验证。我们发现提示策略不可迁移：评审模型的选择主导提示策略的选择，策略效应在不同评审模型间方向相反，且在低资源语言中稳定性下降，而这些效应被聚合报告所掩盖。这些发现表明，多语言评估中的提示效应取决于评审模型、任务和语言。因此，提示策略应针对预期的评估设置进行验证，跨研究比较应同时考虑评审模型和提示配置。
| 评论： | 23 页， |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.31172 [cs.CL] |
| （或 arXiv:2610.31172v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.31172 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Clemencia Siro [查看电子邮件]
[v1]
2026 年 10 月 22 日星期四 12:27:05 UTC（3,176 KB）
来源：arXiv cs.CL · arxiv.org