arXiv cs.AI· Licheng Pan, Haocheng Yang, Haoxuan Li, Yuzhou Chen, Yichen Sun, Yuan Lu, Xiaoxi Li, Hao Wang, Zhixuan Chu, Kui Ren·· 2 天前AI 评分22
面向 LLM 评估的保形加权：评分标准判断缺乏不确定性
Rubric Judgments Lack Uncertainty: Conformal Weighting for LLM Evaluation
AI 导读
针对基于评分标准的 LLM 评估中判断确定性因标准而异、现有方法却统一聚合的问题，研究者提出免训练框架 Uncertainty-aware Rubric Weighting（URW），通过保形校准量化标准级判断不确定性。
正文 · AI 翻译
摘要：基于评分标准的评估被广泛用于评估大语言模型（LLM）的输出，其方法是将质量分解为多个标准，并由 LLM 验证器对每个标准给出二元判断。然而，判断的确定性在不同标准之间差异很大。现有方法将这些判断统一聚合为最终分数，隐含地将每个标准视为同等确定，忽视了这种异质性。因此，不确定的判断在未加区分的情况下被纳入奖励估计，可能为下游强化学习（RL）产生误导性的训练信号。为解决这一局限，我们提出了不确定性感知评分标准加权（URW），这是一个无需训练的框架，通过共形校准量化标准级别的判断不确定性。具体而言，URW 从一组固定的改写判断模板中引出软不确定性信号，并使用具有可证明覆盖保证的分裂共形 $p$ 值将其转换为每个标准的权重。大量实验表明，URW 持续提升成对偏好准确率，并带来更强的下游 RL 对齐效果。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.21214 [cs.AI] |
| （或 arXiv:2610.21214v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21214 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Licheng Pan [查看邮箱]
[v1]
2026年10月15日星期四 04:06:12 UTC（437 KB）
来源：arXiv cs.AI · arxiv.org