arXiv cs.CL· Ziqing Qiao, Xiaoyue Xu, Sikui Zhang, Yinuo Xu, Bingxiang He, Chaojun Xiao, Xu Han·· 12 小时前AI 评分34
长上下文持续预训练不应过早停止：一项实证缩放定律研究
Don't Stop Long-Context Continual Pre-Training Too Early: An Empirical Scaling Law
AI 导读
研究建立了一个实证加性幂律，将长上下文性能与模型规模及短上下文预训练、长上下文持续预训练（LCCP）各自的 token 预算关联，在五种模型规模和超百种预算配置上验证拟合良好并可外推到未见模型规模。
正文 · AI 翻译
摘要：长上下文持续预训练（LCCP）被广泛用于提升长上下文能力，但其收益如何随 LCCP 所用 token 数量扩展仍不清楚。我们通过建模、监测和验证 LCCP 扩展的收益来研究这一问题。首先，我们建立了一个经验性的加性幂律，将长上下文性能与模型规模以及短上下文预训练和 LCCP 各自的 token 预算关联起来。在五种模型规模和一百多种短上下文与长上下文预算配置上的实验表明，拟合出的定律再现了观测到的趋势，并能很好地外推到留出的模型规模。其次，我们引入了 \textsc{Constant-Last4}，一种训练与观测协议，它对恒定学习率运行中最近连续四个检查点取平均，从而能够沿单一可扩展训练轨迹进行稳定监测。在该协议下，相同的缩放律形式拟合良好，并准确预测了一个 1.22B 参数模型在约 100B LCCP token 上训练时的 LCCP 性能轨迹。最后，沿该轨迹进行的下游评估显示长上下文性能持续提升，在评估范围内没有明显的饱和迹象。这些增益在 128K 上下文扩展和有监督微调之后依然存在，且收益延伸至长上下文理解和智能体任务。总之，这些结果表明应继续扩展 LCCP 而非过早停止：其增益可沿可扩展轨迹稳定观测、可定量预测，并可迁移至下游任务。
| 评论： | 32 页，18 幅图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29352 [cs.CL] |
| （或 arXiv:2610.29352v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.29352 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ziqing Qiao [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 07:46:55 UTC（1,583 KB）
来源：arXiv cs.CL · arxiv.org