arXiv cs.AI· Yiqian Huang, Yang Zhou, Qianying Liu, Shaowen Peng, Yuntao Kong, Kotaro Funakoshi, Chuan Xiao, Manabu Okumura, Yang Cao, Shuyuan Zheng·· 2 天前AI 评分30
LLM 何时会援引错误法律？诊断 LLM 在时间性法律推理中的失败
When Do LLMs Apply the Wrong Law? Diagnosing LLM Failures in Temporal Legal Reasoning
AI 导读
研究将"确定案件适用哪一版法律"形式化为 Temporal Applicable-Law Determination（TALD），并构建了覆盖《民法典》施行前后、含 51,956 份中国民事判决的 TALD-Bench。
正文 · AI 翻译
摘要：法律推理需要确定哪一版本的法规适用于某一案件，通常依据法律相关事件发生的时间，而非案件审理的时间。然而，大型语言模型（LLM）能否可靠地执行这种时间性法律推理，在很大程度上仍未被探索。我们将这一任务形式化为时间性适用法律判定（TALD），并构建了 TALD-Bench，一个包含 51,956 份中国民事判决书的基准，时间跨度涵盖《民法典》的颁布。通过评估九个先进 LLM，我们得出三个关键发现。第一，模型表现出对新法的强烈偏好，在新法案件上准确率超过 70%，但在旧法案件上低于 25%。第二，模型对法规版本和时间效力规则具有大量知识，却难以将这些知识应用于案件。更强的通用推理表现并不总能转化为更好的 TALD 准确率，而时间性法律提示则带来显著提升，表明瓶颈在于模型如何运用其已有能力。第三，时间性法律提示还增加了法规版本推理过程中的不确定性，表明它们可能帮助模型重新考虑其对新法的默认偏好。我们的发现凸显了调整 LLM 运用已有能力的方式的重要性，而非仅依赖法律知识或通用推理的改进。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2608.14610 [cs.AI] |
| （或使用 arXiv:2608.14610v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2608.14610 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Huang Yiqian [查看邮箱]
[v1]
2026年7月8日星期三 07:18:11 UTC（47 KB）
[v2]
2026年10月15日星期四 14:53:05 UTC（1,604 KB）
来源：arXiv cs.AI · arxiv.org