arXiv cs.AI· Kakei Yamamoto, So Kuroki·· 3 天前AI 评分24
PRISM：用反事实探针校准黑盒 LLM 评判器
PRISM: Calibrating Black-Box Judges with Counterfactual Probes
AI 导读
PRISM（Probe-based Residual Inference of Scoring Misalignment）通过固定被评内容、测量属性被强调或弱化时的分数变化，将评判器响应建模为代理 Jacobian，并用岭回归在人工标签上学习对基线分数的校正。
正文 · AI 翻译
摘要：大型语言模型越来越多地被用作评判者，以减少对昂贵人工评估的依赖，然而其评分可能与人类判断存在系统性分歧。我们探究对显式施加的评估偏差所作出的响应，是否有助于纠正评判者的隐式评分偏差。我们提出 PRISM（基于探针的评分错位残差推断），该方法保持被评估内容不变，并测量在属性被强调或弱化时评分的变化。一个局部敏感性模型为将这些响应表示为代理雅可比矩阵提供了依据。对人类标签进行岭回归学习，以得到对基线评分的校正。由此产生的评分协议无需评分标准：它仅使用总体评分，而不要求标准级别的评分。在 SummEval 摘要评估和 HANNA 故事评估上的主要 Jev 和 Sol 比较中，PRISM 及其学习基线变体在未校准评分的基础上显著提高了与人类排名的一致性，同时与基于评分标准的方法相比仍具竞争力。一项受控的 SummEval 比较显示，由评分标准衍生的质量探针和风格探针具有相似的一致性，支持在不复现评分标准的情况下进行校准。学习到的系数揭示了各评判者之间共享和相反的校正方向。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.18389 [cs.LG] |
| （或 arXiv:2610.18389v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18389 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Kakei Yamamoto [查看电子邮件]
[v1]
2026年10月13日星期二 13:39:50 UTC（351 KB）
来源：arXiv cs.AI · arxiv.org