arXiv cs.CL· Ibrahim Siddig, Munir Georges·· 6 天前AI 评分20
通过知识图谱引导的多任务预训练增强预训练语言模型的法律推理能力
Enhancing Legal Reasoning in Pre-trained Language Models via Knowledge Graph-Guided Multi-Task Pre-training
AI 导读
研究者提出一种面向德国交通法规（StVO）的多任务预训练方法，结合 NSP、知识图谱引导聚类（CLU）和知识图谱感知段落分类（CLS）三个目标，将结构化法律知识直接编码进模型权重，实现推理时的零样本法律推理。
正文 · AI 翻译
摘要：法律语言理解需要对半结构化监管文档进行推理，然而标准的预训练目标并未明确针对这一结构能力。由于当前的法律语言模型仅依赖掩码语言建模，它们将成文法文本视为扁平的词元序列，而忽略了底层的层级约束。为弥合这一差距，我们提出了一种面向德国交通法（StVO）的多任务预训练方法。我们的方法结合了三个互补的目标：下一句预测（NSP）、知识图谱（KG）引导聚类（CLU）以及知识图谱（KG）感知段落分类（CLS）。该方法将结构化法律知识显式编码到模型权重中。这种编码使得推理时能够进行零样本法律推理，并消除了对离散图遍历的需求。我们在九个基于 Transformer 的编码器和 324 次实验运行中评估了我们的方法。在合成的 StVO 问答任务上，我们的模型相较于基线展现出 10.3% 至 155.0% 的一致相对提升。此外，相对于既有的 LexGLUE 基线（Chalkidis 等，2022），我们的模型在七个法律基准中的四个上超越了先前结果。它还在奥地利驾驶法规上取得了一致的零样本迁移增益，介于 3.4% 至 15.8% 之间。这些实验结果表明，我们的训练方法成功泛化到了初始训练法律领域之外。
| 评论： | 已被 NLLP 2026 研讨会接收，与 EMNLP 2026 合办。9 页，5 幅图 |
| 主题： | 计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.13722 [cs.CL] |
| （或 arXiv:2610.13722v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13722 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Ibrahim Siddig [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 15:21:12 UTC（724 KB）
来源：arXiv cs.CL · arxiv.org