研究：数据调度与学习率调度应联合设计
热点事件持续更新
研究：数据调度与学习率调度应联合设计
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
Haodong Wen 等作者发表研究，在固定总训练算力和中期训练（MT）token 预算下，LLM 中期训练是否应完全切换到 MT 数据取决于学习率（LR）调度：LR 持续衰减时，提前引入 MT 数据并与预训练（PT）数据混合可降低最终 MT loss；恒定 LR 下结论反转。 消融实验表明，应在 MT 数据进入训练之后再衰减 LR，作者据此提出解释该依赖关系的理论模型。
AI 根据报道生成 · 2 小时前更新
最新进展10月22日 12:00
数据调度与学习率调度应协同设计：LLM 中期训练中数据混合策略的实证研究报道时间线
沿着报道，了解事件的不同侧面。
10月22日
- arXiv cs.CL数据调度与学习率调度应协同设计：LLM 中期训练中数据混合策略的实证研究
在固定总训练算力与 MT token 预算下，LLM 中期训练是否应完全切换到 MT 数据取决于学习率调度：LR 持续衰减时，提前引入 MT 数据并与 PT 数据混合可降低最终 MT loss，而恒定 LR 下结论反转。消融实验表明，应在 MT 数据进入训练之后再衰减 LR，并提出了解释该依赖关系的理论模型。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。