arXiv cs.CL· Sebastian Nagl·· 3 天前AI 评分24
SoK：开放文本法律答案的评分，从法学院考试到可信的评分标准评审器
SoK: Grading Open-Text Legal Answers, from Law School Exams to Trustworthy Rubric Judges
AI 导读
这篇 SoK 系统梳理了开放文本法律答案的评估方法，从教育测量与考试法出发提出有效性、可靠性、理由、可辩护替代方案得分、抗博弈与人工监督等八项要求，并对比了从非结构化人工评分到带实例化评分标准的 LLM 评审器、成对比较等八种评估范式。
正文 · AI 翻译
摘要：法学生的考核通过开放式文本答案进行：将法律适用于一组事实的案例解答、论文和备忘录。这类答案的评分成本高昂，人工评分者之间分歧很大，而大型语言模型（LLM）如今可以在教学以及测试法律 AI 的基准中大规模地为它们评分。本文系统化地阐述了如何评估开放式法律答案。我们从教育测量学以及规范考试的法学中推导出八项要求，其中包括效度、信度、理由、对可辩护的替代解决方案给予分数、对博弈的稳健性以及人工监督。随后，我们将八种评估范式与之进行比较，从非结构化的人工评分到带有实例特定评分标准的 LLM 评判者以及成对比较。有三项发现尤为突出。为任务编写的评分标准是 LLM 评判者与人工评分者达成一致的最有力杠杆，但所报告的数字回答的是不同的问题，且很少附带解读它们所必须对照的人工一致性数据。核心的验证缺口恰恰位于考试法要求最严苛之处：可辩护的替代解决方案、后续错误，以及考官对模型判断的纠正。而以评分标准为中心的评分是最可审计的一类，因为它使标准、其应用以及最终决定都可被核查。由此我们推导出可信赖的评分标准评判者：一种实例评分标准，它认可论证和替代路径、在代码中核验证据、探针、重复运行、对照独立人工评分的校准、日志记录，以及阅读每一份答卷的考官。我们陈述了每项保障措施的依据、仍有待测试的内容，以及当前证据所支持的使用方式。
| 评论： | 预印本 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19992 [cs.CL] |
| （或 arXiv:2610.19992v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19992 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sebastian Nagl [查看电子邮件]
[v1]
2026年10月14日星期三 11:09:44 UTC（342 KB）
来源：arXiv cs.CL · arxiv.org