norregel：挪威法律中带日期数值的预注册基准测试

查看 PDF HTML（实验性）

摘要：norregel 要求语言模型给出挪威法规、条例和议会决定中的数值（挪威克朗金额、百分比、国家保险基本金额（G）的倍数以及年龄限制），且每项均须对应指定日期。这 916 个条目是从 Lovdata 的开放数据中机械提取的，每个条目都带有其条款的带日期历史记录，因此答案可被归类为正确、过时、错误或无法解释。我们报告了在同一批条目上进行的第一次和第二次预注册运行。在第一次运行中（五个模型，仅在本地分析后才公开列出），H1（即对于在模型截止日期之后生效的数值，过时答案更频繁）无法得到实质性检验，H2 和 H3 无定论；Opus 5.5 和 Sonnet 4.6 在 880 个主要条目中分别正确回答了 46.7% 和 40.2%。第二次运行在任何调用之前即已预注册并公布，共分析了八个模型。其汇总的主要检验在预注册决策规则下支持 H1（d = 17.8 个百分点，95% 区间 [7.7, 28.9]，p = 0.0001）。在预注册敏感性分析 S8 中（该分析仅将与关键值不同的最近一个数值计为过时），d 为 3.9 [-3.6, 12.7]（p = 0.1754），该区间包含 0。H1 在其他所有预注册敏感性分析中均得到支持，但 S8 是唯一为两组各提供一个目标值的分析，因此我们认为对 H1 的支持并不稳健。过时答案等于该最近数值的比例（H2）为 56.1% [46.6, 65.0]，该区间包含 0.5；而关于新挪威语（Nynorsk）的正确率低于书面挪威语（Bokmål）的汇总检验（H3）无定论。包括 Haiku 4.5 在内的若干模型给出的答案大多无法解释。条目和关键值不予公开；条目 ID、逐答案分类、代码和结果见 Zenodo。

评论：	24 页。预注册、代码和结果：Zenodo 概念 DOI https://doi.org/10.5281/zenodo.23422302（版本 v1 https://doi.org/10.5281/zenodo.23422303，v1.1 https://doi.org/10.5281/zenodo.23432124，v1.2 https://doi.org/10.5281/zenodo.23434782，2.0 https://doi.org/10.5281/zenodo.23437444，2.1 https://doi.org/10.5281/zenodo.23502580）。条目不予公开
主题：	计算与语言（cs.CL）
引用为：	arXiv:2610.29207 [cs.CL]
	（或本版本引用为 arXiv:2610.29207v1 [cs.CL]）
	https://doi.org/10.48550/arXiv.2610.29207 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Eirik Botten Nicolaysen 先生 [查看电子邮件]
[v1] 2026 年 10 月 21 日星期三 04:55:58 UTC（105 KB）