arXiv cs.AI· Swastik Roy, Rajkumar Pujari, Tharindu Kumarage, Charith Peris, Rahul Gupta, Anna Rumshisky, Pradeep Natarajan, Venkatesh Saligrama·· 11 小时前AI 评分34
PReMISE：将策略评分标准作为 LLM 评判器的测量规范
PReMISE: Policy Rubrics as Measurement Specifications for LLM Judges
AI 导读
PReMISE 框架可从成对人工偏好数据中发现策略级评分标准集，并从结构充分性、可靠性、偏好拟合与对抗鲁棒性四个维度审计任意评分标准集。研究发现没有任何原始评分标准源能同时具备可靠性、偏好预测力与对抗鲁棒性，且高评分者一致性并不意味着低可利用性。其偏好排序选择将评判器在成对回答上的准确率从 65.0% 提升至 68.6%，可靠性约束精炼则将利用性回答获高分的比例从 46.4% 降至 36.0%。
正文 · AI 翻译
摘要：LLM 评审员越来越多地被用于评估开放式回答，但其评分在很大程度上取决于作为条件的评分标准。一个要求回答“有帮助且符合事实”的模糊标准，可能会奖励那些编造事实或违背用户意图的漂亮答案。我们将可复用的评分标准视为测量规范：改变评分标准会改变由固定评审员所诱导的回答质量测量。我们提出 PReMISE，这是一个框架，在给定成对人类偏好数据的情况下，(i) 发现策略级评分标准集，并 (ii) 从结构充分性、可靠性、偏好拟合和对抗鲁棒性四个维度审计任何在 LLM 评审员使用下的评分标准集。在各类评分标准来源中，没有任何原始来源同时具备可靠性、偏好预测性和对抗鲁棒性；而高评分者间一致性并不意味着低可利用性。PReMISE 是唯一在适用性、特异性和有效维度上同时获得非平凡得分的评分标准来源。我们贡献了两种面向审计的修复操作：偏好排名选择将配对回答上的评审员准确率从 $65.0\%$ 提升至 $68.6\%$，与最强的评分标准发现基线相当，并在我们的跨评审员扫描中于三位评审员中的两位上领先；可靠性约束精炼将利用性回答获得高分的比率从 $46.4\%$ 降至 $36.0\%$，而评审员间一致性变化很小（$\alpha{=}.531\to.519$）。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.30803 [cs.AI] |
| （或 arXiv:2605.30803v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.30803 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Swastik Roy [查看电子邮件]
[v1]
2026年5月29日星期五 03:45:11 UTC（1,233 KB）
[v2]
2026年10月19日星期一 18:15:57 UTC（3,273 KB）
来源：arXiv cs.AI · arxiv.org