arXiv cs.AI· Gowthamkumar Nandakishore·· 10 天前AI 评分24
CLM-as-a-Judge：开源对比决策模型 CLM-v0.1-8B 在公开评测基准上表现如何
CLM-as-a-Judge: Evaluating an Open Contrastive Decision Model on Public Judge Benchmarks
AI 导读
开源对比决策模型 CLM-v0.1-8B 在公开评测基准上作为评判者接近随机水平：best-of-four 得分 0.351（随机 0.250），pairwise 得分 0.593（随机 0.500），在 RM-Bench 和 JudgeBench 上与抛硬币无统计差异，HaluEval 全部输出同一标签，与 always-first 基线 0.581 持平。
正文 · AI 翻译
摘要：一个开放的对比决策模型在困难的公开基准上作为评判者时表现接近随机：Contrastive-LM/CLM-v0.1-8B 的得分介于 0.351（四选一最佳，随机为 0.250）和 0.593（成对比较，随机为 0.500）之间，在 RM-Bench 和 JudgeBench 上与抛硬币在统计上无法区分，并且对每个 HaluEval 条目都回答同一个恒定标签，与平凡的总是选第一项基线在 0.581 上持平。参数数量相同的评判者在各处得分都远高于此：一个奖励模型达到 0.764 至 0.976，一个生成式评判者达到 0.611 至 0.778，并且与 CLM 的每一个差距在 Benjamini-Hochberg 校正后都显著。有两个特性确实有效。原始置信度过度自信高达 +0.401，然而在留出的校准条目上拟合一个池化温度即可将期望校准误差修正至至多 0.062，并且修正后的置信度在六个基准中的三个上将该模型自身的错误排序到高于随机的水平。决策顺序翻转率为 0.0002，而生成式评判者为 0.2188，长度偏好偏移为 -0.023，而后者为 -0.217。然而，置信度门控级联在预注册的 0.97 保留门槛下将 0.923 至 1.000 的条目升级给强评判者：关于一个接近随机的评判者的校准置信度几乎没有什么可保留的。设计：五个公开偏好基准和一个带有真实标签的幻觉基准，在见到任何测试条目之前冻结的预注册下评分，对照生成式、奖励模型和平凡基线，并发布逐条目预测。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.07177 [cs.LG] |
| （或 arXiv:2610.07177v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.07177 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Gowtham Kumar Nanda Kishore [查看电子邮件]
[v1]
2026年10月5日星期一 18:01:37 UTC（2,955 KB）
来源：arXiv cs.AI · arxiv.org