arXiv cs.CL· Amogh Raina, Ilias Chalkidis, Daniel Hershcovich, Henrik Palmer Olsen·· 11 小时前AI 评分38
LLM 能否进行法律意义上的推理？基于欧洲人权法院案件的小规模研究
Can LLMs Reason in a Legally Meaningful Manner? A Small-scale Study on European Court of Human Rights Cases
AI 导读
研究以欧洲人权法院（ECtHR）案件为测试平台，评估 OpenAI GPT 5.4 在法律案件预测中的推理质量，发现该模型得分远未达理想水平，分析结构完整但实质浅薄。
正文 · AI 翻译
摘要：推理已成为当代 LLM 的一项标准技术和特性；然而，其在法律案件预测等要求较高的法律导向任务中的应用与质量仍缺乏探索。我们以欧洲人权法院（ECtHR）的法律案件作为测试平台，研究 LLM 在法律案件预测情境下如何进行推理。我们评估了近期顶级 LLM 之一的 OpenAI GPT 5.4，探索了多种提示策略，这些策略对在 ECtHR 判例法语境下何为具有法律意义的推理的暗示程度各不相同。我们通过人工评估和 LLM 评估对模型回答进行打分，并呈现由此得出的发现。我们发现，所考察的模型在法律推理方面的得分远未达到理想水平，模型生成的分析在结构上完整但实质上浅薄，并且 LLM-as-a-Judge 评估器内部一致，但与我们的受训标注人员仅呈弱对齐，即可靠但不能有效替代人工评估。总体而言，专家精心设计的提示带来了更全面的推理，但与其他考察设置相比，并未带来更准确的预测。基于我们的发现，我们呼吁社区不要仅依赖基于 LLM 的自动化评估，并避免将任务准确率作为推理质量的合适代理指标。
| 评论： | 24 页，4 幅图，4 张表，提交至 ICML 2026 的 AI4LAW Workshop，附 GitHub 链接 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.17168 [cs.CL] |
| （或使用 arXiv:2608.17168v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2608.17168 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Amogh Raina [查看邮箱]
[v1]
2026 年 8 月 17 日星期一 22:11:22 UTC（1,874 KB）
[v2]
2026 年 9 月 19 日星期六 17:07:12 UTC（1,874 KB）
[v3]
2026 年 11 月 5 日星期四 15:54:26 UTC（1,874 KB）
来源：arXiv cs.CL · arxiv.org