arXiv cs.CL· Haodong Wen, Kairong Luo, Tingkai Yan, Wenguang Chen, Kaifeng Lyu·· 12 小时前AI 评分31
数据调度与学习率调度应协同设计：LLM 中期训练中数据混合策略的实证研究
Data Schedules and Learning Rate Schedules Should Be Designed Together
AI 导读
在固定总训练算力与 MT token 预算下，LLM 中期训练是否应完全切换到 MT 数据取决于学习率调度：LR 持续衰减时，提前引入 MT 数据并与 PT 数据混合可降低最终 MT loss，而恒定 LR 下结论反转。消融实验表明，应在 MT 数据进入训练之后再衰减 LR，并提出了解释该依赖关系的理论模型。
正文 · AI 翻译
摘要：中期训练（MT）是 LLM 训练流程中的一个训练阶段，它在规模更小、价值更高的数据集上继续预训练（PT）。将 PT 和 MT 阶段视为一个整体，训练通常仅从 PT 数据开始，然后完全过渡到 MT 数据。在本工作中，我们将这种从 PT 数据到 MT 数据的完全过渡视为更广泛的一类数据混合调度方案的特例，这类调度方案规定了每个批次中 PT 和 MT token 的比例在训练过程中如何变化。在总训练计算量和 MT token 预算固定的情况下，我们提出疑问：这种完全过渡到 MT 数据的做法对于最小化最终 MT 损失是否最优？我们表明，答案取决于学习率（LR）调度：一种数据调度在某种 LR 调度下可能优于另一种，但仅改变 LR 调度就可能逆转结果。具体而言，当 LR 在持续训练过程中衰减时，与将所有 MT 数据放在训练末尾相比，更早引入 MT 数据并将其与 PT 数据混合会降低最终 MT 损失，但如果我们使用恒定 LR，这一结果就会逆转。因此，我们通过消融研究探讨如何联合选择何时引入 MT 数据以及何时衰减 LR，并发现最好只在 MT 数据进入训练后才衰减 LR。最后，我们开发了一个理论模型，解释了为什么在固定 MT token 预算下最优数据调度取决于 LR 调度。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29348 [cs.LG] |
| （或 arXiv:2610.29348v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29348 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kairong Luo [查看电子邮件]
[v1]
2026年10月21日星期三 07:42:20 UTC（3,204 KB）
来源：arXiv cs.CL · arxiv.org