arXiv·· 13 天前AI 评分27
JudgeMoE:面向 LLM-as-a-Judge 的分布聚合方法
JudgeMoE: Distributional Aggregation for LLM-as-a-Judge
AI 导读
JudgeMoE 是一种轻量聚合器,为每个样本的缓存 judge 分数分布分配专属权重,在计算最终分数前完成融合。在原始 10-cell benchmark 上,其平均 Spearman 相关系数比 uniform log pooling 提升 +0.079。协议研究还发现,分数区间选择在 judge–dataset 组合间并不稳定,软评分通常优于硬解码。
来源:arXiv · arxiv.org