arXiv cs.AI· Jinhyung Bae·· 10 小时前AI 评分31
LexTemporis 用韩国上市公司披露记录评测 LLM 编写的可执行法律规则
Grading Executable Legal Rules Against Independent Records: Transitional Provisions and Korean SME Status
AI 导读
LexTemporis 提出用真实披露记录而非评分者自读法条来评测 LLM 编写的可执行法律规则,测试集为韩国上市公司 10,901 个公司-年份的 SME 状态披露。
正文 · AI 翻译
摘要:法律正日益被转化为裁决案件的程序,例如判定某企业在特定日期是否为中小企业(SME),而如今大型语言模型(LLM)也在编写这些程序。这些程序通常依据读过同一法律的人所写的答案来评分,因此程序可能通过与评分者持有相同解读而非正确理解法律来获得高分。LexTemporis 则改为依据实际发生情况的记录来评分:韩国上市公司披露的 10,901 个企业-年度的 SME 状态,以及适用规则的每一个版本。附录补充了来自美国所得税和德国医院最低业务量的比较案例。日期主要通过主要法律文本之外的条款改变结果:一项过渡性条款使与披露记录的一致率从 83-86% 提升至 89-90%。这些披露记录还检验了作者对一项有争议条款的解读,在解读出现分歧的 189 个企业-年度中,有 130 个支持作者的解读。四个 LLM 在获得不同法律选段的情况下编写了规则。一项预注册的比较发现,没有任何条件在全部四个模型上都更优。在探索性分析中,提供正确的条款在依据作者解读评分时看起来比依据记录评分时表现更好:这一优势在三个模型上缩小(其中一个模型缩小至其规模的四分之一到五分之三),而按企业-年度计算,在作者解读有误的地方,这一优势要大数倍,部分原因是结构性的,因为在那里更忠实地复现该解读必然会失分。依据评分者自身的解读来给法律程序评分,可能会高估其实际效果。
| 评论: | 51 页,2 幅图(附录中另有 1 幅)。已投稿至 Artificial Intelligence and Law。代码与数据:此 https URL |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24055 [cs.CL] |
| (或 arXiv:2611.24055v1 [cs.CL] 为本版本) | |
| https://doi.org/10.48550/arXiv.2611.24055 arXiv 颁发的 DOI 由 DataCite 提供(待注册) |
提交历史
来自:Jinhyung Bae [查看邮箱]
[v1]
2026 年 11 月 18 日周三 08:46:52 UTC(367 KB)
来源:arXiv cs.AI · arxiv.org