arXiv cs.AI· Bryan Kelly, Semyon Malamud, Johannes Schwab, Teng Andrea Xu·· 3 天前AI 评分32
用规模缩小差距：Scaling Point-in-Time 语言模型实现嵌入向量的经济评估
Scaling Point-in-Time Language Models: Enabling Economic Evaluation of Embeddings
AI 导读
研究者用 FineWeb 中 1 万亿按时间过滤的 token 训练了最高 4B 参数的 decoder-only Transformer，构建了覆盖 2013-2024 的逐月模型检查点，以消除训练数据中的未来信息泄漏。
正文 · AI 翻译
摘要：在不受限制的互联网语料上训练的大语言模型不可避免地嵌入了来自未来的信息，引入了前瞻偏差，从而损害了金融和社会科学中回测与因果推断的有效性。时点语言模型——仅使用截至每个日历日期可获得的文本进行训练——从构造上消除了这种泄漏，但现有的努力通常产生的模型大幅落后于其无约束的对应模型。我们表明，这种性能差距可以通过规模大幅缩小。使用来自 FineWeb 的 1 万亿按时间顺序过滤的 token，训练最多 40 亿参数的仅解码器 transformer，我们构建了跨越 2013-2024 年的月度模型检查点序列。在一系列常识推理和语言理解基准上，我们的模型接近了在时间上不受限制的数据上训练的、规模相当的主流开放权重模型（例如 Gemma-3-4B 和 LLaMA-7B）的性能，尽管在若干任务上仍存在性能差距。通过 LoRA 进行指令微调进一步提高了下游可用性。我们发布了完整的流程——包括数据集构建、训练基础设施和评估代码——以实现可复现的时点语言建模，并支持需要严格时间有效性的研究应用。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.11889 [cs.CL] |
| （或 arXiv:2607.11889v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.11889 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Johannes Schwab [查看电子邮件]
[v1]
2026年4月24日星期五 17:00:53 UTC（180 KB）
[v2]
2026年7月17日星期五 09:32:58 UTC（101 KB）
[v3]
2026年10月12日星期一 12:26:01 UTC（106 KB）
来源：arXiv cs.AI · arxiv.org