arXiv cs.AI· Ilija Subasic, Brett Levert, Andrew Rabinovich, Sajjad Pakdamansavoji, Zhao Chen·· 13 小时前AI 评分39
LLM-as-a-Judge 中的“提示词抽奖”：测量与缓解对句法改写的敏感性
Prompt Lottery in LLM-as-a-Judge: Measuring and Mitigating Sensitivity to Syntactic Rephrasing
AI 导读
研究提出 LLM-as-a-Judge 中的“Prompt Lottery”现象：语义相同但表层表述不同的改写提示词会导致评判结果变化，部分场景下甚至反转模型相对排名。10 名人工标注者的用户研究显示，LLM 评判器在提示词改写下的一致性下降幅度是人类的 6-9 倍，低于可用性研究普遍接受的阈值。多提示词聚合可显著提升鲁棒性，其思路是强化在提示词变体间保持一致的判断。
正文 · AI 翻译
摘要：LLM-as-a-Judge 已成为评估大语言模型的标准做法，但大多数方法都隐含地假设单一评判提示词可作为稳定的评估工具。此前的工作主要探索了刻意的提示词修改，如评分细则、角色描述或思维链推理，以优化准确率。与之不同，我们研究的是：在固定评估任务下，那些旨在保持评估语义、仅在表层实现上有所不同的经验证提示词变体（\textit{同义改写}）是否会产生一致的判断。我们提出 \textit{Prompt Lottery} 现象，即同义改写会产生不同的 LLMaJ 判断。在一项涵盖多种评估任务、评判模型家族和模型骨干的大规模研究中，我们发现这些变体可能改变评估结果，并在某些设置下逆转模型的相对排名。一项有 10 名人类标注者参与的用户研究表明，LLMaJ 评判者在提示词改写下的一致性下降幅度比人类大 6-9$\times$，低于可用性研究中普遍接受的阈值。这表明单一提示词评估对于模型排名而言稳健性不足。最后，我们表明多提示词聚合通过强调在提示词变体间保持一致的判断，显著提升了稳健性。
| 评论： | 55 页（11 页无附录），10 张图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.38076 [cs.CL] |
| （或 arXiv:2610.38076v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38076 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ilija Subasic [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 23:45:24 UTC（753 KB）
来源：arXiv cs.AI · arxiv.org