arXiv cs.CL· Lujun Li, Lama Sleem, Yangjie Xu, Yewei Song, Aolin Jia, Jerome Francois, Radu State·· 2 天前AI 评分31
LLM-as-a-Judge 中温度设置的必要性研究
The Necessity of Setting Temperature in LLM-as-a-Judge
AI 导读
一项超百万次大规模评测研究发现，LLM-as-a-Judge 中低温度能带来一致且错误少的输出，尤其在小模型上，但一致性不等于判断可靠，低温度会收窄推理探索范围。研究通过四种推理人格刻画评判行为，发现高温重复采样结合多数投票，或高温推理加低温决策，可在不损害清晰样本的前提下提升模糊样本的一致性，代价是额外推理开销。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越多地被用作自动评判器，但解码温度往往凭直觉设定而非依据证据。我们进行了超过一百万次大规模评估，涵盖多个开源模型、提示策略和评判范式，以考察温度如何影响评判可靠性。低温度产生一致的输出且错误较少，尤其是在较小的模型中；而较高温度会降低一致性并增加错误。然而，仅有一致性并不能保证判断的合理性：低温度可能会缩小所探索的推理范围。我们通过四种推理人格来刻画评判器行为，并发现温度以依赖于模型的方式改变其分布，在难以区分竞争性答案的模糊案例中最为明显。重复的高温采样揭示了这种隐藏的不确定性，将其与多数投票相结合，或使用高温进行推理、低温进行最终决策，可以在不损害清晰案例的情况下提高模糊案例上的一致性，代价是额外的推理开销。我们的发现提示了一条简单规则：保持低温以获得稳定输出，但在判断困难时进行更多探索。
| 评论： | 17 页 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2603.28304 [cs.CL] |
| （或 arXiv:2603.28304v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.28304 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lujun Li [查看邮箱]
[v1]
2026年3月30日星期一 11:31:29 UTC（9,073 KB）
[v2]
2026年6月5日星期五 10:06:49 UTC（7,243 KB）
[v3]
2026年10月15日星期四 12:31:43 UTC（3,610 KB）
来源：arXiv cs.CL · arxiv.org