arXiv cs.AI· Jiazheng Li, Huaqing Zhang, Jing Xu, Tianle Cai, Jingzhao Zhang·· 11 小时前AI 评分38
LARE：通过损失重加权在固定数据配比下实现快速 LLM 预训练
Beyond Data Schedule: Fast LLM Pretraining on Data Mixtures by Loss-Reweighting
AI 导读
研究者提出 LARE（Loss-Adaptive Reweighting under fixed Exposure），在不改变采样数据配比、无需额外搜索权重的情况下，依据运行中的损失统计自动调整各领域权重。
正文 · AI 翻译
摘要：大型语言模型通常通过连续的预训练阶段获得专门能力，但这些收益可能以遗忘早期知识为代价。在本工作中，我们研究是否可以通过改变每个领域对学习的贡献强度、同时保持其数据曝光量不变，来改善这种权衡。我们发现，在受控的知识—数学实验中，损失重加权产生的单个检查点超越了沿任一阶段轨迹所取得的最佳知识与推理分数。这揭示了一种仅靠数据混合比例无法捕捉的独立控制。基于这一发现，我们提出了 LARE（固定曝光下的损失自适应重加权），它根据运行中的损失统计自动调整领域权重。受梯度噪声理论分析的启发，其归一化平方根倒数规则在不改变采样混合、也无需额外运行来搜索权重的情况下，平衡了相对损失尺度。在知识、数学和代码领域，\Method{} 在 240B token 上训练的 1.5B 模型上改善了全部五个评估基准，相较匹配的直接混合平均提升 +7.84 个百分点，其中 GSM8K 提升 +17.06 个百分点，MATH 提升 +9.00 个百分点。这些发现表明，调整领域损失尺度可以在不增加领域曝光的情况下提升联合能力。
| 学科： | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.32141 [cs.LG] |
| （或 arXiv:2610.32141v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.32141 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiazheng Li [查看邮箱]
[v1]
2026年10月23日星期五 04:09:46 UTC（822 KB）
来源：arXiv cs.AI · arxiv.org