arXiv cs.AI· Lovedeep Gondara, Jekaterina Novikova, Sagarika Suresh, Jack Ji, Jithin Pradeep·· 3 天前AI 评分29
格式即筛选器：评分格式决定 LLM 评判器能表达什么
The Format is the Filter: Scoring Format Fixes What an LLM Judge Can Express
AI 导读
研究固定候选池、评判提示词与选择预算，用三种 LLM 评判器以五种评分格式对 15,406 条 UltraFeedback 候选数据打分，微调 66 个模型并用四种评判器评估。0–100 分制实际只用到 7–12 个等距档位，仅为 1–5 分制的两到三倍；二值判定在 77–78% 的提示词中最高分并列，导致多数选择实为随机。基于评判器的数据筛选流程应报告四项指标。
正文 · AI 翻译
摘要：当 LLM 评判器过滤指令微调数据时，其评分格式（二元判定、1--5 评分、0--100 分数或比较）很少被论证或消融。在候选池、评判器提示、解码和选择预算固定的情况下，我们用三位评判器对 15,406 个 UltraFeedback 候选样本按五种格式评分，进行筛选，微调 66 个模型，并用四位评判器评估。0--100 量表实际上只相当于 7--12 个等距使用的等级，是 1--5 量表的两到三倍，而非二十倍；而二元判定在 77--78\% 的提示中使最高分并列，因此大多数选择是随机做出的。这些特性由格式决定，几乎与评判器无关。Kendall 的 $\tau_b$ 掩盖了它们：它将二元格式排为最佳，而 $\tau_a$ 和 top-1 一致率将其排为最差，因为它忽略了选择器必须随机打破的并列。两种比较格式都继承了槽位偏差，其符号因评判器而异。在下游，经筛选的数据在每位评估评判器下都优于随机选择，且对长度和 markdown 调整具有稳健性，但格式之间无法检测到任何排序。我们提出四项基于评判器的数据筛选流程应报告的指标。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.17158 [cs.AI] |
| （或 arXiv:2610.17158v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17158 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Lovedeep Gondara [查看邮箱]
[v1]
2026年10月12日星期一 17:36:39 UTC（57 KB）
来源：arXiv cs.AI · arxiv.org