arXiv cs.AI· Cesare Barbera, Luca Stradiotti, Lorenzo Cascioli, Lorenzo Perini, Niek Tax, Daniel Haimovich, Jesse Davis, Andrea Passerini, Andrea Pugnana·· 3 天前AI 评分26
CaLLM：缓解 LLM-as-a-judge 偏见的多元校准框架
A CaLLM Judge is a Better Judge: Mitigating Bias in LLM-as-a-judge
AI 导读
研究者提出 CaLLM，一个事后多元校准框架，可同时约束 LLM 评委在多个已知或未知群体上的系统性偏见。理论上 CaLLM 能约束所有误差结构可被现有表示捕获的群体偏见，加入显式偏见组还能进一步降低残余偏见，并给出了其提升评委准确率而非牺牲准确率换校准的条件。在成对偏好基准上，CaLLM 降低了指定与未指定偏见组的多元校准误差，同时提升了评委的预测性能。
正文 · AI 翻译
摘要：大语言模型（LLM）正越来越多地被用作评判者，来预测人类评估者会更偏好两个候选答案中的哪一个，从而在人工评估成本过高时提供一种可扩展的替代方案。遗憾的是，LLM 的评判可能表现出系统性偏差。先前的研究已经记录了位置、冗长度或候选答案的模型家族会影响评判者的决定，而非其质量，同时可能还有更多未被记录的偏差。$\textit{Multicalibration}$ 为解决这一问题提供了一个自然的框架：每一种偏差都对应于在某个可识别群体上的误校准，$\textit{例如}$，家族偏差表现为对由与评判者属于同一家族的模型所生成答案的过度自信。挑战在于同时修正许多潜在未知群体上的误校准。为此，我们提出了 $\mathrm{CaLLM}$，一个事后框架，可对 LLM 评判者进行多重校准，从而同时约束所有此类偏差。我们证明，$\mathrm{CaLLM}$ 能约束其误差结构被可用表示所捕获的每一个群体的偏差，并且用显式偏差群体对其进行增强可进一步减少残余偏差。随后，我们推导出 $\mathrm{CaLLM}$ 能提高评判者准确率而非以准确率换取校准的理论条件。最后，我们在成对偏好基准上评估 $\mathrm{CaLLM}$，表明它降低了指定和未指定偏差群体上的多重校准误差，同时提高了评判者的预测性能。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| MSC 分类： | 68T37 |
| ACM 分类： | I.2.3 |
| 引用为： | arXiv:2610.18108 [cs.LG] |
| （或 arXiv:2610.18108v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18108 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Cesare Barbera [查看电子邮件]
[v1]
2026年10月13日星期二 10:23:02 UTC（308 KB）
来源：arXiv cs.AI · arxiv.org