arXiv cs.CL· Justin Lovelace, Christian Belardi, Srivatsa Kundurthy, Shriya Sudhakar, Kilian Q. Weinberger·· 11 小时前AI 评分38
数据受限训练的规定性缩放定律
Prescriptive Scaling Laws for Data Constrained Training
AI 导读
针对高质量数据日益稀缺的现状，研究者提出一种含单参数过拟合惩罚项的缩放定律，修正了假设每个训练 token 唯一的 Chinchilla 定律。该定律指出重复训练超过某一点后收益转负，算力应更多投入模型容量，按推荐配置训练可在数据受限场景提升性能。案例显示强权重衰减（λ=1.0）可将过拟合系数降低约 70%，为数据受限下最优权重衰减比常规大一个数量级提供了缩放定律解释。
正文 · AI 翻译
摘要：训练算力的增长正日益超过高质量数据的可用性。这使得核心挑战从最优算力分配转变为从有限数据中提取最大价值。被广泛采用的 Chinchilla 缩放定律假设每个训练 token 都是唯一的，这限制了它在数据受限情形下指导预训练决策的能力。我们用简单的加性过拟合惩罚来建模重复训练下的额外损失，并发现它能准确描述模型行为。我们的缩放定律给出了定性上全新的算力最优分配建议：超过某一点后，进一步重复训练会适得其反，算力最好用于增加模型容量。我们表明，遵循该定律推荐的配置能提升数据受限情形下的性能。最后，由于我们的单参数形式将过拟合隔离在单个系数中，它使得不同训练配置之间可以直接比较。作为案例研究，我们表明强权重衰减（$\lambda=1.0$）将该系数降低约 70\%，从而为近期发现提供了缩放定律层面的解释：数据受限情形下的最优权重衰减比标准做法大一个数量级。
| 评论： | COLM 2026 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.01640 [cs.LG] |
| （或 arXiv:2605.01640v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.01640 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Justin Lovelace [查看邮箱]
[v1]
2026年5月2日星期六 23:14:20 UTC（407 KB）
[v2]
2026年11月4日星期三 23:24:06 UTC（430 KB）
来源：arXiv cs.CL · arxiv.org