长上下文持续预训练的经验缩放律研究

Ziqing Qiao 等作者发表研究，提出一个经验加性幂律，把长上下文性能与模型规模、短上下文预训练和长上下文持续预训练（LCCP）各自的 token 预算关联起来。该幂律在五种模型规模、超百种预算配置上拟合良好，并可外推到未见过的模型规模。 研究据此主张长上下文持续预训练不应过早停止，并给出 Constant-Last4 监测协议。上述结论来自论文自述的实证拟合，尚属作者报告的结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。