arXiv cs.CL· Tom\'a\v{s} Knap, Ivana Kvapil\'ikov\'a, Jan \v{C}ern\'y, Kl\'ara Bendov\'a, Jarom\'ir \v{S}avelka, Vojt\v{e}ch Pour, Jakub Dr\'apal·· 10 小时前AI 评分26
基于 LLM 的刑事判决信息抽取流水线：面向实证法律研究
Unlocking Criminal Court Decisions: Flexible Information Extraction for Empirical Legal Research
AI 导读
研究者提出一套基于 LLM 的流水线，通过属性探索、文本片段抽取和值归一化构建结构化数据集，并由法律专家迭代完善标注指令。在 DUI 与 DDB 两类交通犯罪上评测，DUI 场景修改指令后抽取准确率从 52% 提升至 70%，且同一模型重复运行的一致性高于其与人工金标注的一致，说明输出稳定不等于正确。该工作已被 JURIX 2026 接收。
正文 · AI 翻译
摘要：刑事判决书包含对犯罪行为的描述，这些描述可以支持定量法律研究，但对其进行结构化需要属性和抽取规则，而这些属性和规则无法总是事先完全确定。我们提出了一种基于 LLM 的流水线，它通过属性探索、文本片段抽取和值归一化来构建结构化数据集，并由法律专家可以完善的标注说明来指导。我们在两类交通违法上对其进行了评估：酒后驾驶（DUI）和禁驾期间驾驶（DDB）。对于 DUI，修订说明与更高的抽取准确率（正确抽取值的比例从 52% 提高到 70%）以及人类标注者之间更高的一致性相关。同一模型的重复运行彼此之间的一致性高于与金标准标注的一致性，这表明输出一致并不一定正确，而标注者之间以及模型之间的分歧有助于揭示不清晰的说明。对于 DDB，由于说明定义了固定类别和输出格式，大多数属性的一致性很高。
| 评论： | 已被第 39 届国际法律知识与信息系统会议（JURIX 2026）论文集接收发表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.03051 [cs.CL] |
| （或 arXiv:2611.03051v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.03051 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Tomas Knap [查看电子邮件]
[v1]
2026年11月2日星期一 12:46:53 UTC（1,380 KB）
来源：arXiv cs.CL · arxiv.org