arXiv cs.AI· Marzieh Karimi, Mehran Safayani, Alireza Basiri·· 4 小时前AI 评分22
TUSI-Bench:面向波斯语法律的引文溯源图基准
TUSI: A Citation-Grounded Graph-Based Benchmark
AI 导读
研究者提出 TUSI-Bench,一个面向波斯语法律 RAG 系统的结构化基准,基于含 7,261 条法律条文的多层法律知识框架构建。该基准包含需显式法律引文的开放式问答集 TUSI-QA(1,999 题)和源自伊朗律师考试的四选一选择题集 TUSI-Bar(约 500 题),并配套构建法律知识图谱。实验显示引入图谱关系可使检索召回率较标准基线最高提升 8 个百分点。
正文 · AI 翻译
摘要:在波斯法律领域评估检索增强生成(RAG)系统仍然具有挑战性,因为基准缺乏真实性、依据支撑以及对法律推理的覆盖。现有资源要么是从成文法文本合成生成的,缺乏自然的信息需求,要么来自非正式的法律问答来源,且未与权威法律文件建立明确关联,因此不适合对基于依据的法律推理进行严格评估。为填补这一空白,我们推出 TUSI-Bench,一个为评估基于 RAG 的系统而设计的结构化波斯法律基准。TUSI-Bench 建立在一个多层法律知识框架之上,该框架包含 7,261 条法律条文,并整合了成文法典、法律评注、学说著述以及最高法院统一裁决。我们还构建了一个关联条文与概念的法律知识图谱,用于结构感知检索。在此基础上,TUSI-Bench 提供两个互补的评估任务:(i) TUSI-QA,一个包含 1,999 个问题的开放式问答基准,要求给出带有明确法律引用的有依据回答;(ii) TUSI-Bar,一个包含约 500 道四选项选择题的多项选择基准,题目源自伊朗律师资格考试题。此外,我们提出了一种基于图的检索基线,利用法律知识图谱中的关系结构。实验结果表明,与标准基线相比,引入基于图的关系可将检索召回率最多提升 8 个百分点,凸显了结构化法律表示对 RAG 系统的重要性。该基准为评估波斯语中基于依据的法律推理提供了标准化资源,并为结构化法律智能的未来研究奠定了基础。
| 评论: | 28 页,11 幅图,含附录 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2611.21823 [cs.CL] |
| (或 arXiv:2611.21823v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.21823 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Marzieh Karimi [查看邮箱]
[v1]
2026 年 11 月 16 日星期一 19:38:41 UTC(1,145 KB)
来源:arXiv cs.AI · arxiv.org