arXiv cs.CL· Eirik Botten Nicolaysen·· 10 小时前AI 评分18
挪威法规过时数值对比：进一步训练的 Borealis 2 与基座模型 Gemma 4 的预注册配对比较
Outdated numeric values from Norwegian statutes and regulations in a further-trained model and its base model: a preregistered paired comparison of Borealis 2 and Gemma 4
AI 导读
预注册研究对比 Borealis 2（挪威国家图书馆基于 Gemma 4 进一步训练）与 Gemma 4 在挪威法规过时数值上的表现，在 503 个主条目中两模型均可解释的 411 项上。
正文 · AI 翻译
摘要：我们比较了两个已发布的语言模型从挪威法规和条例中给出过时数值的频率：NbAiLab/borealis2-26b-a4b-preview（Borealis 2），由挪威国家图书馆在 google/gemma-4-26B-A4B-it（Gemma 4）基础上进一步训练而成，以及 Gemma 4 本身。该研究已预注册（doi:https://doi.org/10.5281/zenodo.23858965），并使用封闭的 norregel 基准，依据数值历史进行确定性评分。在 503 个主要条目中两个模型均给出可解释答案的 411 个条目上，仅 Borealis 2 过时的有 10 个条目，仅 Gemma 4 过时的有 11 个（d = -0.2 个百分点，95% 聚类自助法区间 [-2.7, +2.5]，精确单侧 McNemar p = 0.668）。按预注册规则，这属于无关注效应：整个区间都落在最小关注效应 ±10 个百分点之内。在次要指标中，只有给出在问题日期之后生效的数值的答案占比在 Holm 校正后存在差异；Gemma 4 更常给出此类答案。对两个较小的 Borealis 模型的探索性比较没有不一致对，因此不具信息量。该设计比较的是已发布的模型，并未分离其训练中任何部分的影响。
| 评论： | 已预注册：doi:https://doi.org/10.5281/zenodo.23858965。数据与代码：doi:https://doi.org/10.5281/zenodo.23870450，此 https URL。v2：更正了标题；数据、分析或结果均无变化 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02334 [cs.CL] |
| （或 arXiv:2611.02334v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02334 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Eirik Botten Nicolaysen 先生 [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 00:31:48 UTC（11 KB）
[v2]
2026 年 11 月 3 日星期二 05:40:29 UTC（11 KB）
来源：arXiv cs.CL · arxiv.org