arXiv cs.CL· Pawitsapak Akarajaradwong, Sarana Nutanong, Chompakorn Chaksangchaichot·· 11 小时前AI 评分29
NitiBench+：覆盖 17 个领域的泰语法律时序问答基准
NitiBench+: A Temporal Thai Legal Question Answering Benchmark Across 17 Domains
AI 导读
研究者推出 NitiBench+，一个覆盖 17 个领域、含 1,670 道题的泰语法律问答基准，为每个被引法条同时保留判决当日有效文本与现行文本。对四家泰国法院 156,650 份判决的核查显示，最高 67% 引用了此后被修订或废止的法律；在 13 个开源权重模型上，读现行修订文本使 Bar-standard 分数下降 0.25，缺失已废止法律下降 0.79。
正文 · AI 翻译
摘要：法律会随时间变化。法院依据当日生效的法律裁决案件，而法律问答基准则以当今法律为标准评分。我们核查了泰国四家法院的 156,650 份判决。其中高达 67% 的判决引用了此后已被修订或废止的法律。我们推出 NitiBench+，它是我们 NitiBench 的续作，一个泰语法律问答基准，包含 17 个领域的 1,670 个条目，基于三家法院的判决构建。对于每个被引用的条文，它同时收录判决日期生效的文本和当前文本，其检索语料库收录泰国每一法条的每个带日期版本。答案依据泰国律师委员会评分标准、律师标准分数，以及所引条文与法院所引条文的重合度进行评分。报告分为两部分。第一部分在 13 个开放权重模型上衡量错误文本的代价。阅读修订后法律的当前文本会使律师标准分数下降 0.25，缺失已废止法律会使其下降 0.79。这一惩罚来自规则变更，在 428 个规则变更条目上为 0.45，在 331 个仅措辞变更条目上为零，而引用 F1 无法察觉这一点。生效文本才是公平的设置。第二部分在该设置下对当今模型进行基准测试。一个公开排行榜在按领域分层的 500 个条目的留出测试集上对 26 个模型进行排名，并发布相同形态的验证集供公众使用，测试场景包括仅凭记忆、提供法院条文，以及作为检索代理在生效法律上检索，同时记录每个条目的成本和幻觉引用。最佳模型得分为 10 分中的 7.78 分，最佳开放权重模型为 6.39 分。在没有搜索工具的情况下，只有五个开放权重模型能回忆起任何泰国法律，而有了搜索工具后，26 个模型中有 20 个获益、6 个受损。排行榜将在新模型发布时纳入它们。法律基准必须跟踪日期，而在正确的文本上，当今模型在泰国法律方面仍存在很大差距。
| 评论： | 审稿中 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.03576 [cs.CL] |
| （或此版本的 arXiv:2611.03576v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2611.03576 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Pawitsapak Akarajaradwong [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 18:28:39 UTC（1,808 KB）
[v2]
2026 年 11 月 3 日星期二 18:07:26 UTC（1,820 KB）
来源：arXiv cs.CL · arxiv.org