arXiv cs.CL· Rilton Franzone, Magnus Sesodia, Alina Petrova, John Armour, Thomas Lukasiewicz, Oana-Maria Camburu, Puneet K. Dokania, Philip Torr, Christian Schroeder de Witt, Fabio J. Fehr·· 12 小时前AI 评分29
AnnoCaseLaw：美国民事过失法律标注基准发布
AnnoCaseLaw: Legal Annotation Benchmark of Civil Negligence
AI 导读
AnnoCaseLaw 基准包含 471 份美国民事过失法院意见书和超过 12,000 条专家标注，覆盖五类标注类别，用于评估语言模型复现专家法律标注的能力。
正文 · AI 翻译
摘要：语言模型为扩展成本高昂、劳动密集的专家标注提供了一种途径，但其复现专家判断的能力仍不确定。这在法律领域尤为具有挑战性，因为标注者必须将支持司法裁判的推理与其他法律相关讨论区分开来。我们提出 AnnoCaseLaw，这是一个密集标注的基准，包含 $471$ 份美国民事过失法院意见书，涵盖五个标注类别、超过 $12,000$ 条专家高亮标注。我们评估了专有前沿模型、开放权重模型、法律专用模型和决策模型复现这些标注的能力。模型在事实与结果上的表现优于法律适用于事实、程序历史和相关先例。在法律适用于事实方面，专有前沿模型在推理覆盖率和精确率之间取得了最佳平衡，而开放权重模型 Gemma 4 以估计推理成本的一小部分达到了与专有前沿模型相当的 Macro-F1。我们的发现凸显了在评估自动化法律标注的可行性时，将标注覆盖率和成本与总体得分一并考量的重要性。
| 评论： | 修订版。AnnoCaseLaw 的重点从法律判决预测转向专家法律标注。语料库和专家标注予以保留，而标注任务、模型评估、实验和分析则经过修订和扩展。作者名单已更新，以反映对本版本的贡献 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2503.00128 [cs.CL] |
| （或 arXiv:2503.00128v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2503.00128 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Fabio James Fehr [查看电子邮件]
[v1]
2025年2月28日星期五 19:14:48 UTC（598 KB）
[v2]
2026年10月21日星期三 15:19:43 UTC（1,118 KB）
来源：arXiv cs.CL · arxiv.org