arXiv cs.CL· Ilija Subasic, Andrew Rabinovich, Zhao Chen·· 10 小时前AI 评分29
用分位数而非点值：面向序数感知 LLM-as-a-Judge 校准的流式分位数匹配
Quantiles, Not Points: Streaming Quantile Matching for Ordinal-Aware LLM-as-a-Judge Calibration
AI 导读
研究提出流式分位数匹配（SQM），通过计算 LLM 与人类评分分布间的最优传输映射来校准 LLM-as-a-Judge 分数，而非逐点映射。在自建评测框架中，SQM 尊重人类锚点集的序数性，在跨模型与数据上取得最佳分布保真度和最高综合排名。研究还发现事后校准普遍缩小了小型与大型评审模型之间的原始误差差距，为更高效的 LLM 评审模型提供了可能。
正文 · AI 翻译
摘要：在任何给定的评估任务中，LLM-as-a-judge 的评分往往相对于人工评分存在分布偏移，而事后校准（在小型标注锚点集中将 LLM 评分映射为人工评分）已成为纠正这种偏移的常用方法。在本文中，我们从两个立场推导校准：LLMaJ 评分是从分布中抽取的有序评分，而非孤立的点。我们提出流式分位数匹配（SQM），这是经典方法的一个版本，此前尚未针对 LLMaJ 校准进行基准测试；它基于这两个立场，通过计算 LLM 与人工评分分布之间的最优传输映射来实现。我们开发了一个评估框架，并在其中表明，与逐点校准不同，SQM 尊重人工锚点集的有序性，并在各模型和数据上实现了最佳的分布保真度和最高的总体排名。我们还表明，一般而言，事后校准缩小了较小与较大评判模型之间的原始误差差距，这为更高效的 LLM 评判模型开辟了可能性。
| 评论： | 17 页，6 幅图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2611.00447 [cs.AI] |
| （或 arXiv:2611.00447v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.00447 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ilija Subasic [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 23:02:26 UTC（550 KB）
来源：arXiv cs.CL · arxiv.org