arXiv·· 14 天前AI 评分27
LLM-as-a-Judge 的设计选择影响有多大？提示词、评分量表与模型的系统比较
How Much Do LLM-as-a-Judge Design Choices Matter? A Systematic Comparison of Prompt Designs, Rating Scales, and Models
AI 导读
研究系统比较了 LLM-as-a-Judge 的提示词设计、评分量表与模型选择对评判结果的影响，在句子情感与毒性标量评分（每类超 500 条）等两项任务上评测了 10 个推理模型。由于目前评判器设计缺乏标准，研究者通常凭直觉选择提示词、量表和模型，若这些选择会改变判定结论，两项研究可能对同一事实得出不同结果。
来源：arXiv · arxiv.org