arXiv cs.CY· Russell Yang, Ruishi Chen, Pierce Kelaita, Riya Ranjan, Sibo Ma, Charles Dickens, Matthew Guillod, Megan Ma, Julian Nyarko·· 11 小时前AI 评分45
JudgmentBench：对比评分标准与偏好评估在质量评测中的差异
JudgmentBench: Comparing Rubric and Preference Evaluation for Quality Assessment
AI 导读
研究者发布 JudgmentBench，包含 30 个真实法律任务、1539 条评分标准打分与 1530 条成对偏好判断，均由执业律师标注，是首个在同一批专家、同一批任务上同时采集两类监督信号的高专业领域公开数据集。
正文 · AI 翻译
摘要：目前基准测试实践中有两种方法占据主导地位：基于评分标准的打分依据预定义标准评估条目，而比较判断则引出输出之间的成对偏好。尽管这两种方法都被广泛使用，但二者之间的选择却很少得到论证。我们发布 JudgmentBench，这是一个包含 30 项真实法律任务的基准，并配有 1,539 条评分标准打分和 1,530 条成对偏好判断，这些数据收集自执业律师——包括美国大型律所的律师——且他们均具有丰富经验。这些标注构成了高专业领域内首个公开可用的数据集，其中两种监督信号均来自同一批专家、针对同一批任务采集。利用在三个构建质量水平上由 LLM 生成的输出，我们提供了初步的实证比较：在每任务等级相关指标（Spearman 等级相关均值 0.908 对 0.150，估计差异 = 0.758 [0.494, 1.021]）和每判断成对胜率指标（0.669 对 0.542，估计差异 = 0.127 [0.067, 0.186]）下，比较判断都比评分标准更好地恢复了预期的质量排序，同时所需的标注时间不到一半。这些模式在人类标注者和 LLM 自动评分器上均成立。除这一初步比较外，该数据集的配对结构还支持更广泛的研究议程，即探讨在无可验证真值的领域中，专家判断应如何被引出、聚合并用作监督信号。
| 评论： | 已被 NeurIPS 2026（评估与数据集 Track）接收。50 页，9 张图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2605.25240 [cs.CL] |
| （或本版本使用 arXiv:2605.25240v4 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2605.25240 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Russell Yang [查看邮箱]
[v1]
2026 年 5 月 24 日周日 19:52:39 UTC（3,637 KB）
[v2]
2026 年 6 月 2 日周二 02:06:08 UTC（3,776 KB）
[v3]
2026 年 6 月 4 日周四 00:43:30 UTC（3,777 KB）
[v4]
2026 年 11 月 5 日周四 06:46:06 UTC（3,676 KB）
来源：arXiv cs.CY · arxiv.org