arXiv cs.CY· M. Mikail Demir·· 12 小时前AI 评分42
该提交还是弃权？System One 决策模型、LLM 与缺失的法律依据
Commit or Abstain? System One Decision Models, LLMs, and Missing Legal Authority
AI 导读
研究将 CaseHOLD 扩展出弃权条件（5,314 题中 1,670 题替换正确判决），对比四个 System One 决策模型与六个生成式 LLM：无正确选项时生成式 LLM 仍有 38-86% 强行选择，最谨慎的决策模型为 30%。
正文 · AI 翻译
摘要：鉴于需要核查的主张数量庞大，可验证的法律 AI 需要可扩展、高性价比的模型，以满足法律的实务需求。System One 决策模型基于大语言模型构建，但不生成文本，而是为每个选项返回经过校准的概率。这适合法律权威的验证，因为该问题是封闭的：某一特定判决，或均不成立。我们测试此类模型在正确权威缺失时是否会弃权。我们扩展了 CaseHOLD，加入弃权条件，在 5,314 个条目中的 1,670 个里替换掉正确判决，并比较了四个决策模型与六个生成式 LLM。当没有正确选项时，生成式 LLM 仍在 38-86% 的条目中选择一个；最谨慎的决策模型则为 30%。在标准 CaseHOLD 上，一个决策模型以 1/55 的成本达到最佳生成式 LLM 的水平（88.1% 对 88.2%）。仅当决策模型同意时才接受 LLM 的答案，可将其错误引用减半；并且在不使用标签的情况下，将决策模型的概率蒸馏到 Qwen3-8B 中，可得到一个校准良好的本地模型。法律 AI 应以其错误引用来评判，而不仅仅是准确率。
| 评论： | 16 页，4 幅图，4 张表。审稿中。代码、数据和模型输出：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.29961 [cs.AI] |
| （或 arXiv:2610.29961v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29961 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：M. Mikail Demir [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 16:17:49 UTC（1,027 KB）
来源：arXiv cs.CY · arxiv.org