arXiv cs.AI· Saisab Sadhu, Shreeyans Arora, Pratinav Seth·· 9 天前AI 评分41
法律链式推理的忠实性审计：模型引用法条不等于依据法条
Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness
AI 导读
研究对七个开源权重模型（8B-70B）在四个法律推理基准上做反事实审计：固定案件事实、替换模型所引用的法律依据后，模型引用正确法条的比例达 66.7%-100%，但判决随依据改变而改变的比例仅 0.0%-21.7%（CaseHOLD）、30.0%-76.7%（ECHR 与 SCOTUS）、43.3%-50.0%（ContractNLI）。
正文 · AI 翻译
摘要：大型语言模型越来越多地通过指出裁决背后的法规或判例来为法律判决提供依据，并将其视为该判决由此推导而来的证据。我们直接对此进行检验：在固定案件事实的前提下，我们将所引用的法律依据替换为一个无关依据，并从模型的隐藏状态中解码其不断演变的裁决。在七个开放权重模型（8B-70B）和四个涵盖司法与合同推理的基准上，当明确要求通过指出所适用的法律依据来为裁决提供理由时，模型在 66.7%-100% 的生成中指出了正确的依据，而裁决随依据变化而变化的情况则远不一致：在 CaseHOLD 上为 0.0%-21.7%，在 ECHR 和 SCOTUS 上为 30.0%-76.7%，在 ContractNLI 上为 43.3%-50.0%。无论是规模还是专门构建的法律推理模型（尽力复现的 LoRA；第 6 节）都无法弥合这一差距。对五个核心模型进行的红队评估发现，对隐藏在案件事实中的对抗性指令的遵从率（73.3%-96.4%）远超裁决替换敏感性，且在所有模型排名中无一例外。因此，指出法律依据并不能很好地代表裁决对其的依赖，而同一裁决却仍然单独易受对抗性操纵的影响。这两项发现均在排除了提示措辞噪声和混杂采样的检验中得到复现，并直接关系到将生成的法律解释用作合规或审计材料的问题。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.12361 [cs.AI] |
| （或 arXiv:2610.12361v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12361 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Saisab Sadhu [查看电子邮件]
[v1]
2026年10月8日星期四 17:26:17 UTC（4,048 KB）
来源：arXiv cs.AI · arxiv.org