arXiv cs.AI· Chang Su, Bin Wu, Emine Yilmaz, Yao Lu·· 12 小时前AI 评分31
预训练过程中什么在提升？用时间点模型追踪知识习得
What Improves During Pretraining? Tracking Knowledge Acquisition with Point-in-Time Models
AI 导读
研究提出时间变异度分数（TVS），以条目负对数似然在不同年份网页快照模型间的变异系数衡量知识的时间不稳定性。在6个基准、多个开源模型家族的6个模型上，高TVS条目在预训练后期提升更快，36个模型-基准设置中有34个在预训练结束时优于低TVS条目，平均领先7.3个百分点的随机归一化准确率，该模式在知识密集型任务上最稳健。
正文 · AI 翻译
摘要：在多年收集的网络语料上预训练的语言模型会学到通用知识和领域特定知识。这些不同类型的知识在预训练推进过程中如何被学习，目前仍不清楚。近期基于不同年份网络快照训练的时间点模型，为探究知识流行度随时间的变化提供了途径。利用这些模型，我们提出了时间变异性分数（TVS），其定义为某一项目的负对数似然在各模型间的变异系数。分数越高，表明该知识在多年网络文本中的表征可能越不一致。我们使用来自多个开源模型家族的六个模型，评估了涵盖不同主题的六个基准。我们发现，低 TVS 和高 TVS 项目在训练早期学习速度相似，但高 TVS 项目在后期提升更快。在预训练结束时，高 TVS 项目在 36 个模型-基准设置中的 34 个上优于低 TVS 项目，平均优势为 7.3 个机会归一化准确率百分点。这一模式在知识密集型任务上最为稳健，即使在比较难度相近的项目时也是如此。我们的发现揭示了预训练过程中知识学习方式的差异，时间变异性为这些学习动态提供了超越总体基准分数的诊断指标。
| 评论： | 已被 AACL 2026 接收。本版本修正了附录中的细微错误 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.37631 [cs.AI] |
| （或 arXiv:2610.37631v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37631 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chang Su [查看电子邮件]
[v1]
2026年10月27日星期二 17:52:38 UTC（3,550 KB）
来源：arXiv cs.AI · arxiv.org