arXiv cs.AI· Wenbin Zhang, ShangZhan Li, Bingxiang He, Ye He, Yuxin Zhou, Muzhen Cai, Qi Shi, Wanxiang Che·· 11 小时前AI 评分32
LexPilot：面向中文民事案件咨询的法律 LLM 主动交互能力基准测试
LexPilot: Benchmarking the Proactive Interaction Ability of Legal LLMs with Laypeople in Chinese Civil Case Consultation
AI 导读
研究者提出 LexPilot 基准，用 432 份真实中国民事判决构建 36 类案由的完整与信息缺失咨询对话对，并附专家审核与法院判决，用于衡量法律 LLM 的主动交互能力。实验显示，当前 LLM 在信息缺失咨询中主动追问能力不足，下游判决预测较完整咨询场景平均下降 23.84%。
正文 · AI 翻译
摘要：大型语言模型（LLMs）为法律专业人士提供了极大帮助。然而，我们的实证研究表明，当面对非专家提出的信息不充分的咨询时，当前 LLMs 往往在缺乏足够案件细节以作出确定结论的情况下，仍给出效用有限且不负责任的回答。为了更好地帮助普通民众，法律 LLMs 必须识别争议焦点，并主动从用户处获取关键背景信息。遗憾的是，现有数据资源通常关注交互与回答质量，对主动交互如何影响 LLMs 在真实民事案件中的下游请求级判决预测，提供的洞见有限。为填补这一空白，我们推出 \textbf{LexPilot}，一个基于真实中国民事判决、将主动法律交互与请求级判决预测相连接的基准。LexPilot 由 36 种常见案由下的 432 份真实判决构建而成，包含经专家审核的完整咨询历史与信息不充分咨询历史配对，以及相应的法院判决。实验表明，当前 LLMs 在信息不充分的咨询中难以进行主动法律交互，其下游判决预测表现大幅低于信息充分咨询设置（平均 -23.84%）。进一步分析识别出阻碍这些能力的关键瓶颈。我们的工作凸显了亟需更以用户为中心的法律 AI，以更好地服务公众。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.23141 [cs.AI] |
| （或 arXiv:2610.23141v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23141 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenbin Zhang [查看邮箱]
[v1]
2026年10月16日星期五 08:38:20 UTC（964 KB）
来源：arXiv cs.AI · arxiv.org