arXiv cs.AI· M. Mikail Demir, M. Abdullah Canbaz·· 9 天前AI 评分32
PARCEL：面向法律幻觉检测的声明级基准
When Citations Mislead? A Claim-Level Benchmark for Legal Hallucination Detection
AI 导读
研究者提出 PARCEL，一个检验法律声明是否被所引权威来源支持的基准，基于纽约州上诉法院近期判决构建了 3,396 条括注式声明数据集，标注为 Supported、Refuted 或 Not Found。
正文 · AI 翻译
摘要：大型语言模型越来越多地用于法律研究和起草，但它们仍可能生成听起来令人信服、却得不到所引来源支持的主张。我们提出 PARCEL，一个用于检查法律主张是否得到其依据权威支持的基准。利用纽约州上诉法院近期的判决，我们构建了一个包含 3,396 条括号式主张的数据集，标注为“支持”“反驳”或“未找到”。我们将此任务设定为三向自然语言推理问题，并在零样本设置下评估了若干最先进的 LLM。尽管最强的模型准确率可达 0.97，结果也揭示了一个重要弱点：即使提供了完整的判决意见文本，模型仍会将不受支持的主张错误地标记为受支持。在各模型中，缺失支持比直接矛盾更难检测，而虚构但看似合理的引证会导致性能下降最大。总体而言，PARCEL 为测试法律 RAG 系统中主张级别的有据性提供了一个实用基准。
| 评论： | 9 页，2 幅图，7 张表。发表于第 21 届国际人工智能与法律会议（ICAIL 2026），新加坡。数据集：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM 分类： | I.2.7；J.1 |
| 引用为： | arXiv:2610.10971 [cs.CL] |
| （或 arXiv:2610.10971v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10971 arXiv 颁发的 DOI 经由 DataCite（待注册） |
|
| 期刊 参考： | 载于第 21 届国际人工智能与法律会议（ICAIL 2026）论文集，2026 年 6 月 8-12 日，新加坡。ACM，美国纽约州纽约市 |
| 相关 DOI： | https://doi.org/10.1145/3836937.3836948
链接到相关资源的 DOI |
提交历史
来自：M. Mikail Demir [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 22:43:56 UTC（174 KB）
来源：arXiv cs.AI · arxiv.org