arXiv cs.CL· Ethan Zhao, Maksym Taranukhin, Wei Cui, Moira Aikenhead, Vered Shwartz·· 12 小时前AI 评分26
CanLegalRAGBench：评估加拿大判例法上的检索增强生成
CanLegalRAGBench: Evaluating Retrieval-Augmented Generation on Canadian Case Law
AI 导读
研究者提出 CanLegalRAGBench，一个基于真实查询和专家标注答案、扎根判例法的加拿大法律问答基准，用于评估法律 RAG 系统。评测显示检索性能对设计选择敏感，开源嵌入模型与闭源模型表现相当，但自动评估会惩罚系统检索到其他相关文档。生成答案常偏离标准答案，8-29% 的陈述未获检索文档支持。
正文 · AI 翻译
摘要：基于 RAG 的法律助手日益流行，但 LLM 幻觉仍是一个关键问题，并可能损害司法公正。尽管已有基准用于评估进展，但许多基准依赖合成查询而非真实法律场景。此外，加拿大法律在现有评估中仍然代表性不足。为填补这一空白，我们推出 CanLegalRAGBench，这是一个基于真实查询和以判例法为依据的专家标注答案的加拿大法律问答基准。我们的评估表明，检索性能对设计选择敏感，且开源嵌入模型与闭源模型相比具有竞争力。然而，评估也揭示了自动评估的局限性，即会因系统检索到其他相关文档而对其加以惩罚。我们还发现，生成的答案常常与标准答案存在偏差，或出现幻觉，或产生过于详细或无关的内容，其中 8-29% 的陈述未得到检索文档的支持。我们希望该基准有助于推动在解决法律 RAG 系统局限性方面持续取得进展。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.30497 [cs.CL] |
| （或 arXiv:2605.30497v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.30497 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ethan Zhao [查看邮箱]
[v1]
2026年5月28日 星期四 19:24:23 UTC（2,761 KB）
[v2]
2026年8月18日 星期二 20:08:56 UTC（2,785 KB）
[v3]
2026年10月21日 星期三 17:36:42 UTC（2,786 KB）
来源：arXiv cs.CL · arxiv.org