跳到正文
RadarAI· X:面壁智能 OpenBMB (@OpenBMB)·· 1 天前AI 评分38

面壁智能提出长上下文训练新缩放定律,可外推至 128K

面壁智能提出长上下文训练新缩放定律

AI 导读

面壁智能(OpenBMB)提出长上下文性能的新经验缩放定律,将 log(LongPPL) 建模为 N、Ds、Dl 的加性幂律,在留出规模上外推 R²=0.97。配套的 Constant-Last4 协议可在单条可扩展训练轨迹上稳定监控,收益可从 32K 迁移到 128K,并在 SFT 后及长上下文与智能体任务中保持。

正文 · AI 翻译

OpenBMB· @OpenBMB · X·2026-11-16 21:30· 1 小时前AI 评分46

AI 导读

面壁智能(OpenBMB)发布长上下文性能的新经验缩放定律,对 log(LongPPL) 建模为 N、Ds、Dl 的加性幂律,在留出规模上外推 R²=0.97。配套的 Constant-Last4 协议可在单条可扩展训练轨迹上稳定监控,收益可从 32K 迁移到 128K,并在 SFT 后及长上下文与智能体任务中保持。

正文 · 原文

长上下文训练:不要过早停止 📈

关于长上下文性能的新经验缩放定律:

  • log(LongPPL) 的缩放定律 ≈ f(N, Ds, Dl):加性幂律,可外推到留出规模(R²=0.97)
  • Constant-Last4 协议:在单条可扩展训练轨迹上稳定监控
  • 收益迁移:32K → 128K,SFT 后,以及在长上下文和智能体任务中

📄 arxiv.org/abs/2610.29352
💻 github.com/thunlp/dont-stop-l…
🤗 huggingface.co/collections/Ed…

#LLM #LongContext #ScalingLaw #ContinualPretraining #AI #Agentic

来源:OpenBMB · x.com

来源:RadarAI · aihot.news