arXiv cs.CL· Boqin Yuan, Ziqi Wang·· 10 小时前AI 评分31
L-MARS：带智能体搜索与引用忠实度审计的法律多智能体系统
L-MARS: Legal Multi-Agent System with Agentic Search and Citation-Faithfulness Audit
AI 导读
L-MARS 是一个开源法律问答多智能体系统，通过智能体搜索与裁判驱动的证据核查，对每条原子主张逐条审计其引用来源。在 100 题 Bar Exam 分层审计中，检索对准确率提升有限，但多轮裁判循环将 strict citation F1 从 0.13（朴素 RAG）提升至 0.25，并将无引用率从 34% 降至 13%。
正文 · AI 翻译
摘要：大型语言模型越来越多地被部署用于法律问答，而相关评估通常聚焦于多项选择准确率。这一指标忽视了一种常见失败：答案所附的引用来源是否存在，以及是否支持系统将其归因于该来源的规则。我们提出 L-MARS，一个开放的多智能体法律问答系统，具备智能体搜索与由评判驱动的证据核查，并逐条对照其引用来源进行审计。每条原子主张均按六类分类法标注，并在跨提供方评判下以 strict-ALCE 评分，其中回答者与验证者来自不同的模型家族。在一项分层抽样的 100 题律师资格考试审计中，检索几乎未能提升准确率，但多轮评判循环将严格引用 F1 从 0.13（朴素 RAG）提升至 0.25，并将无引用率从 34% 降至 13%。我们进一步引入 Faith-Search，这是一个在草稿完成后重新验证并修复不可达引用的步骤；它使不可达率降至 1% 以下，但未能较之多轮循环提升 F1，因此我们将其报告为一项针对可达性的干预，而非忠实性突破。一项 50 题 LegalSearchQA 案例研究印证了这一图景：先检索后起草的流水线在引用 F1 上饱和于 0.75 附近，而单智能体网络搜索基线在外部审计下骤降至 0.22。
| 评论： | 14 页，2 幅图，4 张表。已被 ICML 2026 法律人工智能研讨会接收（PMLR 356） |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2509.00761 [cs.AI] |
| （或本版本引用 arXiv:2509.00761v5 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2509.00761 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Boqin Yuan [查看邮箱]
[v1]
2025 年 8 月 31 日周日 09:23:26 UTC（912 KB）
[v2]
2025 年 9 月 3 日周三 00:57:14 UTC（912 KB）
[v3]
2026 年 3 月 30 日周一 02:42:59 UTC（857 KB）
[v4]
2026 年 7 月 15 日周三 19:38:53 UTC（1,248 KB）
[v5]
2026 年 11 月 5 日周四 23:11:59 UTC（271 KB）
来源：arXiv cs.CL · arxiv.org