arXiv cs.CL· Md Sakib Ul Islam, S M Mehedi Zaman·· 12 小时前AI 评分29
语言模型新版本未必延续旧版预训练信息披露：41 个模型条目审计
What Carries Forward? Pretraining Disclosure Across Language Model Releases
AI 导读
一项基于文档的审计用 2025 FMTI 的 24 项预训练指标考察 17 个模型家族共 41 个条目，在十个家族的 24 组相邻版本对比中，得分下降 11 组、上升 6 组、持平 7 组，指标净减少 38 项、新增 28 项。OLMo-2 与 OLMo-3 总分相同但各有三项增减，Llama-3.1 总分优于 Llama-2 却丢失两项数据类指标。语料构成与训练算力方面的披露缺口持续存在。
正文 · AI 翻译
摘要：要理解语言模型是如何预训练的，需要了解其数据、处理流程和计算资源方面的信息。然而，后续发布是否保留或扩展了此前的披露，目前仍不清楚。我们基于文档，使用 2025 年基础模型透明度指数（FMTI）中 24 项与预训练相关的指标，对 17 个模型家族的 41 个模型条目进行了审计。我们考察了总体得分和指标概况，追踪了十个家族中 24 组相邻比较的得分增减与保留披露情况。得分在 11 组比较中下降，在 6 组中上升，在 7 组中保持不变，总体上有 38 项指标丢失、28 项指标增加。得分稳定或提升可能掩盖损失：OLMo-2 和 OLMo-3 尽管各有三项增加和三项损失，总分却完全相同；Llama-3.1 相比 Llama-2 有所提升，却失去了两项数据相关标准的得分。语料构成和训练算力方面也持续存在缺口。这些发现表明，后续发布并未一致地保留此前的预训练披露，因此有必要在文档中明确标识变更以及继承信息的适用性。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.37465 [cs.CL] |
| （或 arXiv:2610.37465v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37465 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：S M Mehedi Zaman [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 16:00:49 UTC（60 KB）
来源：arXiv cs.CL · arxiv.org