RadarAI· X:面壁智能 OpenBMB (@OpenBMB)·· 1 天前AI 评分38
面壁智能提出长上下文训练新缩放定律,可外推至 128K
面壁智能提出长上下文训练新缩放定律
AI 导读
面壁智能(OpenBMB)提出长上下文性能的新经验缩放定律,将 log(LongPPL) 建模为 N、Ds、Dl 的加性幂律,在留出规模上外推 R²=0.97。配套的 Constant-Last4 协议可在单条可扩展训练轨迹上稳定监控,收益可从 32K 迁移到 128K,并在 SFT 后及长上下文与智能体任务中保持。
正文 · AI 翻译
OpenBMB· @OpenBMB · X·2026-11-16 21:30· 1 小时前AI 评分46
AI 导读
面壁智能(OpenBMB)发布长上下文性能的新经验缩放定律,对 log(LongPPL) 建模为 N、Ds、Dl 的加性幂律,在留出规模上外推 R²=0.97。配套的 Constant-Last4 协议可在单条可扩展训练轨迹上稳定监控,收益可从 32K 迁移到 128K,并在 SFT 后及长上下文与智能体任务中保持。
正文 · 原文
长上下文训练:不要过早停止 📈
关于长上下文性能的新经验缩放定律:
- log(LongPPL) 的缩放定律 ≈ f(N, Ds, Dl):加性幂律,可外推到留出规模(R²=0.97)
- Constant-Last4 协议:在单条可扩展训练轨迹上稳定监控
- 收益迁移:32K → 128K,SFT 后,以及在长上下文和智能体任务中
📄 arxiv.org/abs/2610.29352
💻 github.com/thunlp/dont-stop-l…
🤗 huggingface.co/collections/Ed…
#LLM #LongContext #ScalingLaw #ContinualPretraining #AI #Agentic
来源:OpenBMB · x.com
来源:RadarAI · aihot.news