数据受限训练的缩放定律被提出

Justin Lovelace 等作者提出一种含单参数过拟合惩罚项的缩放定律，修正了假设每个训练 token 只使用一次的 Chinchilla 定律。该定律指出，重复训练超过某一点后收益转负，因此算力应更多投入模型容量；按推荐配置训练可在数据受限场景提升性能。 案例显示，强权重衰减（λ=1.0）可将过拟合系数降低约 70%，为数据受限下最优权重衰减比常规大一个数量级提供了缩放定律解释。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。